Indie Hackers · Newest9/3 20:0455 分
让Agent记住更多反而更差,检索优于累积
We Made Our Agent "Remember More." It Got Worse, Not Better.
作者曾认为解决Agent遗忘问题的办法是存储和检索更多信息,增加每次调用的上下文量。但这一做法适得其反:成本随消息数增长,因为每次调用都重新处理增长的历史;准确性反而下降,因为模型对长上下文中间部分的关注度低于开头和结尾。真正的解决方案不是增加记忆,而是改进检索:存储所有内容,但只提取与当前步骤相关的部分。更小、更精准的上下文在成本和准确性上都优于更大的上下文,作者原本预期需要权衡,结果却是双赢。作者询问是否有人也经历了类似教训,转而采用检索而非累积。