安全落地与复盘08
第 8 课 让 AI 碰真系统之前,先把六件事写下来
模块安全落地与复盘预计学习15 分钟
第 7 课的原型只读取告警和历史工单,给班组长一条建议;派人维修、创建工单仍沿用原来的人工流程。如果只读试点通过验收,团队可能想省去重复录入,让系统在班组长确认后新建工单。
这一步改变了风险:建议错了,人还可以不采纳;工单写错设备、优先级或维修人员,就可能让人白跑,甚至影响设备安全。因此,从“提供建议”走到“修改业务记录”之前,需要先明确谁授权、谁审批、写入什么、出错后如何处理。本课只用新建一张维修工单这个动作,练习把这些边界写清楚。
先给动作分个级
| 级别 | 含义 | 案例中的动作 | 谁来执行 |
|---|---|---|---|
| 只读 | 只看,不改 | 查询设备近期告警和维修记录 | 获得授权后,AI 可在只读范围执行 |
| 起草 | AI 写草稿,人来提交 | 生成工单草稿,列出可能原因 | AI 可自动起草 |
| 审批后写入 | 人点头后,系统代为提交 | 新建工单、分派维修工 | 人工批准后执行 |
| 不自动 | 后果重,或者撤不回 | 远程停机、修改设备运行参数、调整备件采购金额 | 不交给 AI |
判断时只看一条标准:下面任意一条成立,这个动作最多停在"起草"。
- 动作撤不回。
- 可能影响人身安全。
- 涉及金额、合同,或对客户的承诺。
- 参数没办法自动检查对错。
- 出了问题,说不清该找谁。
动作安全卡:六个问题
来源二第 217 页用修改 ERP 的例子,强调过身份、权限、校验、审批和恢复这几件事。把它们落到我们的案例里,可以做成一张卡:
text
【动作安全卡】动作:新建维修工单(仅限试点产线)
1 谁在按按钮(执行身份):给 AI 单独开的账号(服务账号)____;
每条记录同时写"发起人"和"批准人"
2 只给够用的钥匙(最小权限):可以 ____;
不可以 删除/关闭工单、修改派单规则、写入其他产线
3 填错就拦下(参数校验):设备编号必须在台账中存在;优先级只能取约定值;
同一设备同一故障已有未关闭工单时,不重复开单;描述中不得出现个人联系方式
4 人点头才执行(人工审批):批准人 ____;
审批页展示 AI 的依据和将要写入的全部字段;
超过 ____ 分钟无人审批,转回人工原流程
5 留痕(审计日志):记录时间、发起人、批准人、引用的数据、AI 建议原文、
最终参数、系统返回结果;被校验拦下和被驳回的记录也要保留
6 按错了怎么退(回滚):撤销方式 ____;回滚负责人 ____;
撤不回的副作用(例如维修工已经出发)如何补救 ____
停用开关:谁有权关闭 ____;关闭后回到哪个原流程 ____
业务责任人 ____ 技术责任人 ____有两个细节容易被忽略。
第一,不要让 AI 用某位工程师的个人账号,也不要沿用演示时的管理员账号。否则日志里永远分不清,哪一步是人做的,哪一步是 AI 做的。
第二,"工单能撤销"不等于"能回滚"。单子可以撤掉,但半夜已经赶到现场的维修工回不去。这类撤不回的后果,要提前写出补救办法。
一级一级上台阶
| 台阶 | 用什么数据 | 写到哪里 | 进入下一级的条件 |
|---|---|---|---|
| 1 | 自编测试数据 | 本地或测试库 | 每条校验规则都被故意触发过一次 |
| 2 | 去掉能认出人和设备的信息后的历史数据(脱敏数据) | 测试环境 | 客户的数据负责人书面同意使用方式 |
| 3 | 真实数据,只读 | 生产环境,只读权限 | AI 建议与班组长的实际决定逐条对比过,差异有记录 |
| 4 | 真实数据,演练写入 | 隔离的演练环境(沙箱)中的工单库 | 完整做过一次回滚演练 |
| 5 | 审批后写入 | 生产环境,仅限试点产线 | 进入第 9 课的验收 |
"先演练,批准后再影响生产"这个顺序,有的平台会做成专门功能,来源二第 121 页就介绍过这类设计。你不需要等某个平台。一个测试库加一张审批表,就能先把顺序走对。
还有一条红线:没有客户书面授权,真实客户数据不能输入公开 AI 工具。哪怕只是"帮我总结一下",也不行。
今天先做一步
挑出试点里你最想让 AI 执行的那一个动作,用分级表给它定级。如果它落在"审批后写入",先填安全卡的第 6 条和"停用开关"两栏。这两栏写不出来,就先别往下走。
本章产物
- 一张填好的动作安全卡,由业务责任人和技术责任人共同签名。
- 一张台阶推进表,标明当前所在的台阶,以及进入下一级需要谁签字。
常见错误
- 把演示用的管理员账号直接接到生产系统。
- 审批走过场:批准人只看到一个标题,一天点几十次"同意"。审批页必须显示 AI 的依据和将要写入的字段。
- 日志只记成功的操作。被拦下和被驳回的记录,恰恰是改进判断最好的材料。
- 跳过只读对比,从测试环境直接跳到生产写入。
学完后记得保存进度
完成标记保存在当前浏览器;登录后,会记住上次阅读的章节与位置。