多轮对话的上下文管理：我踩过的坑和总结出的方法

做了半年多轮对话产品，上下文管理踩了一堆坑，总结几个有用的方法。 问题一：context 越来越长，成本和延迟都飙升 最直接的解法是滑动窗口，只保留最近 N 轮。但这样会丢失早期的重要信息。更好的做法是分层：最近 3-5 轮完整保留，更早的内容用摘要压缩成 1-2 句话追加在 system prompt 里。 问题二：模型"忘记"前面说过的内容 不完全是模型的问题，很多时候是因为 context 太长、信噪比低，关键信息被淹没了。解法：把重要的约束和状态显式写在 system prompt 里，不要依赖模型自己记住对话里说过的内容。 问题三：多用户场景下 context 混用 这个是工程 bug，但因为看起来像模型问题容易漏掉。务必确保每个用户会话有独立的 context 存储，不要共用同一个数组在内存里追加。 问题四：摘要压缩引入错误 让模型摘要早期对话时，偶尔会引入原对话里没有的内容。解法是摘要时加一句"只提取事实，不添加任何推断"，同时可以做一轮事实核查。 希望对做对话产品的朋友有帮助。