跳转到主要内容
随着对话轮次增加,每次请求携带的历史消息会越来越长,不仅消耗更多 token,还可能超出模型的上下文窗口限制。此时可以在客户端主动压缩历史,将历史消息列表 messages 按先后顺序分为三部分处理:

实现客户端压缩

运行前请在环境变量 MOONSHOT_API_KEY 中配置 API Key:
代码中各组成部分的作用如下: 提示词参考了 Kimi Code 的压缩指令,按本示例单独传入历史 JSON 的请求方式做了调整。

调用压缩并继续对话

在一轮对话结束后,调用 compact_history() 更新 messages:
更新后,继续下一轮对话:

常见问题

在一轮对话结束后,可以读取响应中的 usage.total_tokens(或在发送请求前调用 计算 Token 接口)检查当前上下文长度,超过设定阈值时再调用 compact_history()。不建议每轮对话都执行压缩:生成摘要本身会多消耗一次请求,而且替换较早轮次会改变 messages 前缀,导致后续请求无法命中原有的 上下文缓存 前缀。
每次调用 compact_history() 时传入不同的 snapshot_path(例如在文件名中加上时间戳或轮次序号),既避免因同名备份文件已存在而报错,也能在摘要遗漏早期细节时随时按文件回查原始记录。上一轮压缩生成的摘要本身是一条普通 user 消息,再次压缩时会自动归入较早轮次,与后续对话一起合并总结为新的摘要。