AI系统覆盖用户修正的教训

作者分享了一个AI系统问题：用户修正了AI的错误（如标记重要发件人、纠正分类），但后台任务会重新扫描邮件并覆盖用户的修正。尽管修复了一个进程，但发现主分类流程中还有第二个写入者，且无人报告。根本原因是系统未追踪数据来源，只关注准确性而忽略了最终决定权。修复方案是让用户修正优先，并存储每个值的来源（模型或人）。作者反思，学习修正与覆盖修正的系统内部看起来相同，关键在于是否追踪来源。目前仅止住问题，未彻底解决。