AI 入門基礎知識 ピンクブック
AI 入门基础
第五部分 Agent 与 Skill16

别让它自己跑太远:失控形态与人工断点

进阶20 分钟第 16 / 19 章

目标漂移、工具误用、循环不收敛——三种失控各有拦法。权限分级决定在哪几步必须停下来等人类点头。

学完本章你能做到

  • 识别 Agent 失控的三种形态并给出对应拦截手段
  • 为不同风险等级的操作设置合理的确认断点
  • 搭建一份能跑起来的最小评测方案

学习与练习

从课程目录定位知识点,按章节完成练习,随时接着上次继续。

先停一下

跑偏的三种形态与各自的拦法

形态一:目标漂移。做着做着忘了最初目标——让你整理文档,它开始重写整份方案。拦法:把目标写成显式检查点,每隔若干轮对照一次;发现漂移立即拉回。 形态二:工具误用。调用了不该用的工具,或参数填错——把测试环境当成生产库删了。拦法:工具白名单(任务允许什么就只开什么)+ 参数校验 + 危险命令二次确认。 形态三:循环不收敛。同一个报错重试了二十轮还在试。拦法:设最大轮数与最大花费上限,触顶即停、转交人工;失败模式写入 Skill,下次直接绕行。 三种形态的共同点:都不会自愈,都需要你在系统侧预埋约束。信任要给,缰绳也要备。

跟着做

权限分级与人工断点

断点设在不可逆动作之前,是最重要的设计原则。按风险分三级: 只读操作(搜索、读取文件、查询数据):自动执行,无需打断人。 写入操作(创建文档、修改配置):低风险的自动执行并留痕,重要的执行前摘要请示。 不可逆 / 对外操作(删除、付款、对外发送消息邮件):无论模型多有把握,必须人类点头发车。 配套两条基础设施: 审计日志:每个动作谁批准的、执行了什么、结果如何,全程可查; 一键中止:任何时刻人都能叫停,且叫停后状态可恢复。 这套分级不依赖任何高深技术,纯粹是制度设计——但它决定了 Agent 是实习生还是脱缰野马。

先理解

Agent 评测:不评测就是在裸奔

「感觉变强了」不叫验证。最小可行评测方案只需要四样东西: 样例任务集:10 到 20 个真实任务,含正常情况和刁钻情况; 明确的通过标准:每个任务定义「做完长什么样」,可判定,不靠感觉; 固定跑法:每次改动后全量跑一遍,记录通过率与失败点; 失败分析:挂掉的任务逐个人工复盘,归因到提示词、工具还是模型。 这套东西粗糙但有效:它把「我们换个新模型试试」从赌博变成实验。等通过率稳定在高位,再谈扩大自主权——评测数据就是你敢让它跑多远的底气。

画出你的第一张断点图

选一个你想自动化的真实流程(如每周数据周报),标出所有断点。

  1. 1列出流程中的全部动作,标注读写属性
  2. 2按三级权限给每个动作定级,画出必须人工确认的断点位置
  3. 3为整个流程设定最大轮数和预算上限

验收清单

  • 不可逆动作全部位于人工断点之后
  • 有明确的审计与中止机制设想
  • 写下了一份可以下周就执行的 10 题评测集

学完后记得保存进度

完了マークはこのブラウザーに保存されます。ログインすると、前回の章と読書位置を記憶します。