频繁请求固定长上下文时使用
Context Caching 特别适合频繁请求、重复引用大量初始上下文的场景,例如:- 提供大量预设内容的 QA Bot,例如产品文档问答助手。
- 针对固定文档集合的频繁查询,例如上市公司信息披露问答工具。
- 对静态代码库或知识库的周期性分析,例如各类 Copilot Agent。
- 瞬时流量巨大的爆款 AI 应用。
- 交互规则复杂的 Agent 类应用。
Context Caching 与 RAG 怎么选
业界广泛采用 RAG(检索增强生成)方案进行长文本业务的降本。Context Caching 的降本幅度与业务特性高度相关,RAG 则与业务特性无关;两者的主要区别如下:建议:频繁查询固定内容(如 FAQ、文档问答)时优先使用 Context Caching;内容极长且查询方向不固定时,可考虑 RAG 方案。
无需配置,缓存自动命中
Context Caching 采用全自动缓存机制,你只需像平常一样调用 API:- 无需手动创建:系统会自动识别并缓存高频使用的初始上下文。
- 无需引用缓存 ID:调用
/v1/chat/completions时按正常方式传入 messages 即可,系统会在后台自动匹配缓存。 - 无需管理 TTL:缓存的生命周期由系统自动管理,无需人工干预。
计费
Context Caching 的计费方式与具体价格,请参阅产品定价页面的计费说明。注意事项
- 缓存命中条件:系统会自动对高频重复的初始上下文进行缓存优化。请确保你的知识内容、system prompt 和工具定义相对稳定,以获得更好的缓存命中率。
- 多轮对话:将固定的大段上下文(如知识文档)放在
messages数组的最前面(system 消息之前),然后将用户问题和模型回复追加其后,系统会自动识别并缓存这些固定内容。 - 无需额外配置:Context Caching 对所有请求自动生效,无需修改 API 调用方式或添加额外参数,只需关注 prompt 设计和业务逻辑即可。