DEV Community · Indie Hackers9/7 05:2449

提示系统无测试,何以知其损坏

Your prompt system has no tests, and that is why you cannot tell it is broken

阅读原文
作者指出,代码故障会大声报错,而提示系统则静默失败,仍产出看似正常的输出。他构建了一个多技能代理系统,含15个技能、9个命令,各写结构化JSON供后续读取。系统运行数周后悄然出错:某技能漏写字段,后续技能读取空值继续,最终评分略有偏差,但文档读起来仍具说服力。作者强调,模型擅长生成看似合理的文本,因此无法断言散文质量。他提出三个可测试的方面:算术(最终分数可重算)、结构(模式验证)、以及可量化的散文规则(如字数、必需部分、URL数量)。他编写了约750行Python代码,无依赖,仅用标准库,在每次文件写入时运行钩子,耗时不足一秒。该检查器通过一个JSON文件定义契约,能捕获大多数回归问题。