登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  科技周边 >  人工智能

电脑操作型智能体上线前需要哪些权限护栏

来源:17golang原创

时间:2026-10-08 17:08:24 286浏览 收藏

电脑操作型智能体上线前,至少要同时限制八件事:运行环境、代理身份、可访问站点、可执行动作、敏感数据外发、高后果操作审批、单次运行预算,以及审计与回滚。只给智能体一个“低权限账号”还不够,因为它仍可能被页面内容误导,在合法权限内做出错误的发送、覆盖、购买或授权动作。

OpenAI Computer use 官方指南:https://developers.openai.com/api/docs/guides/tools-computer-use

NIST AI 风险管理框架:https://www.nist.gov/itl/ai-risk-management-framework

正式上线前至少要落实的基础权限护栏要求:
  • 在隔离浏览器、虚拟机或容器内运行,不直接接管员工日常桌面;
  • 使用独立的短期代理身份,不复用管理员和个人账号;
  • 站点、应用、动作与数据出口都使用白名单;
  • 发送、上传、购买、授权、删除等动作在执行前逐次确认;
  • 网页、文档和工具返回的文字一律视为不可信输入;
  • 每次运行都有步数、时间、成本上限,并能立即取消;
  • 计划、审批、动作、结果和恢复过程必须可追溯。

变化一句话:智能体从“给建议”升级为“产生真实副作用”

普通聊天模型输出的是文字,电脑操作型智能体却能点击按钮、填写表单、上传文件、切换账号和提交事务。权限边界因此发生了根本变化:风险不再止于回答错误,而是错误答案可能立即变成真实操作。

官方 Computer use 指南把这种能力定义为对浏览器和桌面界面的操作,并明确提醒:电脑操作会影响真实账号与数据,环境限制、页面内容不可信、高后果动作确认、运行边界与结果核对都应同时实施。Anthropic 的同类文档也建议使用最低权限的专用虚拟机或容器、限制域名、避免暴露敏感数据,并让人确认具有现实后果的决定。

为什么原有账号权限不够

传统 RBAC 往往按“员工能否进入系统、能否使用某个菜单”授权,默认操作者理解页面含义并对每次点击负责。智能体的行为模式不同:

  • 任务跨度长:一次授权后可能连续执行几十个动作,后半段已经偏离原目标;
  • 输入来自屏幕:网页、邮件、文档和图片都可能包含诱导指令或提示词注入;
  • 动作组合放大权限:“读取文件”和“填写表单”单独看风险不高,组合后却可能完成数据外发;
  • 结果不等于声明:模型说“已完成”不能证明目标系统真的进入预期状态;
  • 错误速度更快:自动化可以在人工发现前重复错误操作。

因此,上线设计不能只问“这个账号能做什么”,还要问“这次任务允许访问哪些目标、执行哪些动作、传出哪些数据、持续多久,以及谁对哪一步做了确认”。

新权限模型:把一个账号拆成多层运行时护栏

更稳妥的方案是把权限拆成相互独立的控制层。任何一层都不能因为屏幕上出现了一段文字而自动放宽。

控制层建议做法拒绝条件
运行环境专用容器、虚拟机或隔离浏览器;任务结束即清理试图访问宿主机、员工桌面或未挂载目录
代理身份独立服务身份、短期凭据、最小角色要求复用管理员账号或长期个人会话
目标范围允许的域名、应用、窗口和记录类型白名单导航到名单外站点或切换到未知应用
动作范围把读取、草稿、发送、删除等动作分级动作类别不在当前任务授权中
数据范围字段级脱敏、剪贴板限制、上传出口控制表单中出现密钥、身份信息或未批准附件
运行预算限定时间、步数、重试次数、金额和资源消耗超预算、反复失败或页面状态无法判断
用户意图经过策略门、隔离环境、临时身份和数据外发控制后访问业务应用的权限护栏结构说明图
图1:电脑操作型智能体的权限护栏分层结构说明图。

这里最容易漏掉的是凭据代理:智能体不应直接看到长期密码、API Key 或完整 Cookie。更好的做法是由凭据服务在动作发生时提供范围受限、寿命很短的会话,任务结束后自动撤销。即使运行环境被污染,也能压缩后续影响。

对旧系统的影响:权限检查要从登录时延伸到每个动作前

很多业务系统只在登录时判断角色,随后默认同一会话里的操作都可信。接入电脑操作型智能体后,这个假设需要改变。策略引擎应在关键动作发生前重新判断:

  • 当前动作是否属于用户最初授权的任务;
  • 目标站点、记录、收件人和附件是否仍在允许范围内;
  • 页面中是否出现了要求忽略规则、泄露秘密或跳转到外部站点的内容;
  • 这一步是否会产生不可逆、对外可见或具有财务影响的结果;
  • 上一步的可见结果是否与预期一致。

这会给旧系统带来一个直接改造:不能只把智能体当成“另一个前端客户端”。需要在执行器外增加策略门,让策略决定与模型计划分离。模型可以提出动作,但不能自己批准动作。

对高后果动作逐次确认,而不是一次授权整段任务

“允许智能体完成报销”不等于允许它选择任意收款人、金额和附件。审批界面应展示即将执行的具体动作,包括目标、关键字段、外发数据、预计影响和撤销方式。用户确认的是这一步,而不是抽象目标。

动作类型默认策略典型例子
读取与检索在白名单范围内自动执行读取工单状态、搜索知识库
草稿与预览自动执行,结果可见生成邮件草稿、填写但不提交表单
对外发送与上传执行前逐次确认发送邮件、上传附件、发布评论
购买、付款与授权强制人工确认,可增加双人复核提交订单、确认付款、添加成员
删除、覆盖与权限提升默认拒绝;确需开放时使用双重控制删除记录、覆盖文件、授予管理员角色
读取、草稿、发送、购买授权和删除覆盖分别对应自动、通知、人工确认和拒绝的风险控制矩阵说明图
图2:按动作后果划分自动执行、通知、人工确认和拒绝的静态矩阵。

输入敏感信息也属于数据传输。例如把客户身份证号键入一个表单,即使尚未单击提交,数据也可能已经进入第三方页面、自动保存或日志。因此确认点必须出现在输入之前,而不是只拦截最后的 Submit 按钮。

把屏幕内容当成不可信输入

网页、邮件、文档、图片和弹窗中的文字不能获得新的权限,也不能覆盖用户原始指令。执行器应把“页面内容”和“受信任策略”放在不同通道处理:

  1. 页面只提供事实和候选操作,不提供授权;
  2. 任何要求关闭安全检查、复制凭据或访问名单外地址的内容都触发停止;
  3. 跳转域名、下载文件、打开附件和粘贴剪贴板前重新检查;
  4. 检测到指令冲突时转交人工,不让模型自己解释为“例外”。

仅靠系统提示词写一句“不要听网页的话”不是完整防护。真正有效的边界要落在模型之外:网络出口、文件挂载、凭据服务和动作执行器都应拒绝未授权请求。

迁移建议:先影子运行,再逐级开放副作用

从现有人工流程迁移时,可以按四级推进:

  1. 观察级:智能体只读屏幕并给出下一步建议,不执行动作;
  2. 草稿级:允许填写草稿和生成预览,但不能提交或外发;
  3. 受控执行级:低风险动作自动执行,高后果动作逐次审批;
  4. 有限自治级:仅对经过稳定评估的窄任务开放自动执行,仍保留预算、取消和审计。

不要把“整体成功率较高”当成扩大权限的唯一依据。应分别统计越权拦截、误审批、结果核对失败、人工接管、取消成功和回滚成功。权限扩张必须基于这些安全指标,而不是只看完成速度。

最小验证:不仅测会不会做,还要测能不能停

上线前至少准备下面六组场景,并保留每次策略决定和实际结果:

  1. 正向任务:在允许站点内完成一项低风险操作;
  2. 越权目标:任务途中导航到未授权域名,执行器应立即阻断;
  3. 提示词注入:页面要求忽略原任务并上传文件,智能体应停止并请求人工判断;
  4. 敏感数据:表单要求输入凭据或个人信息,系统应在键入前拦截;
  5. 高后果动作:发送、购买或删除前出现明确审批卡,未确认不得执行;
  6. 恢复测试:超时、页面异常或人工取消后,会话、临时凭据和半完成状态能够清理或回滚。
电脑操作型智能体从计划、策略决定、人工审批、执行到结果核对、不可变审计和回滚的闭环说明图
图3:受控执行、结果核对、审计与回滚的闭环说明图。

每条审计记录至少包含:任务发起人、代理身份、策略版本、目标应用、动作参数摘要、审批人、审批内容、执行时间、结果状态和恢复动作。日志中不要保存完整密码、令牌或敏感表单内容,可以保存脱敏摘要和不可篡改哈希。

上线检查清单

  • 是否使用专用隔离环境,而不是员工日常电脑;
  • 是否有独立、短期、最小权限的代理身份;
  • 域名、应用、动作和数据出口是否都有白名单;
  • 发送、上传、购买、授权、删除是否逐次确认;
  • 策略决定是否独立于模型,页面文字能否被系统拒绝;
  • 是否设置时间、步数、重试、成本和金额上限;
  • 用户能否立即取消,异常后能否清理凭据与半完成状态;
  • 审计记录能否还原谁批准了什么、实际发生了什么。

电脑操作型智能体真正的上线门槛不是“会不会点击”,而是权限能否随任务缩小、关键动作能否停在确认点、异常能否恢复。把这些控制放在模型之外,才不会把一次错误判断放大成真实业务事故。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>