第五部分 Agent 与 Skill16
别让它自己跑太远:失控形态与人工断点
进阶20 分钟第 16 / 19 章
目标漂移、工具误用、循环不收敛——三种失控各有拦法。权限分级决定在哪几步必须停下来等人类点头。
学完本章你能做到
- 识别 Agent 失控的三种形态并给出对应拦截手段
- 为不同风险等级的操作设置合理的确认断点
- 搭建一份能跑起来的最小评测方案
学习与练习
从课程目录定位知识点,按章节完成练习,随时接着上次继续。
先停一下
跑偏的三种形态与各自的拦法
形态一:目标漂移。做着做着忘了最初目标——让你整理文档,它开始重写整份方案。拦法:把目标写成显式检查点,每隔若干轮对照一次;发现漂移立即拉回。
形态二:工具误用。调用了不该用的工具,或参数填错——把测试环境当成生产库删了。拦法:工具白名单(任务允许什么就只开什么)+ 参数校验 + 危险命令二次确认。
形态三:循环不收敛。同一个报错重试了二十轮还在试。拦法:设最大轮数与最大花费上限,触顶即停、转交人工;失败模式写入 Skill,下次直接绕行。
三种形态的共同点:都不会自愈,都需要你在系统侧预埋约束。信任要给,缰绳也要备。
跟着做
权限分级与人工断点
断点设在不可逆动作之前,是最重要的设计原则。按风险分三级:
只读操作(搜索、读取文件、查询数据):自动执行,无需打断人。
写入操作(创建文档、修改配置):低风险的自动执行并留痕,重要的执行前摘要请示。
不可逆 / 对外操作(删除、付款、对外发送消息邮件):无论模型多有把握,必须人类点头发车。
配套两条基础设施:
审计日志:每个动作谁批准的、执行了什么、结果如何,全程可查;
一键中止:任何时刻人都能叫停,且叫停后状态可恢复。
这套分级不依赖任何高深技术,纯粹是制度设计——但它决定了 Agent 是实习生还是脱缰野马。
先理解
Agent 评测:不评测就是在裸奔
「感觉变强了」不叫验证。最小可行评测方案只需要四样东西:
样例任务集:10 到 20 个真实任务,含正常情况和刁钻情况;
明确的通过标准:每个任务定义「做完长什么样」,可判定,不靠感觉;
固定跑法:每次改动后全量跑一遍,记录通过率与失败点;
失败分析:挂掉的任务逐个人工复盘,归因到提示词、工具还是模型。
这套东西粗糙但有效:它把「我们换个新模型试试」从赌博变成实验。等通过率稳定在高位,再谈扩大自主权——评测数据就是你敢让它跑多远的底气。
画出你的第一张断点图
选一个你想自动化的真实流程(如每周数据周报),标出所有断点。
- 1列出流程中的全部动作,标注读写属性
- 2按三级权限给每个动作定级,画出必须人工确认的断点位置
- 3为整个流程设定最大轮数和预算上限
验收清单
- 不可逆动作全部位于人工断点之后
- 有明确的审计与中止机制设想
- 写下了一份可以下周就执行的 10 题评测集
学完后记得保存进度
完了マークはこのブラウザーに保存されます。ログインすると、前回の章と読書位置を記憶します。