推理模型与提示缓存
推理能力帮助模型处理复杂任务；提示缓存用于复用符合上游条件的输入。两者的参数、返回内容和用量分类需要分别验证。
接入推理模型
- 用普通文本请求确认模型可用。
- 根据目标模型和协议，添加支持的推理控制参数。
- 检查最终回答、完成状态及用量明细。
- 使用工具或多轮对话时，验证推理内容、签名和历史消息能否正确回传。
部分模型不支持温度参数，或对输出上限有独立要求。字段被拒绝时，先查模型说明，再逐项调整。
使用提示缓存
缓存命中通常由上游决定，可能依赖相同前缀、模型、缓存标记和有效期。网关提供缓存计量和费用处理，并不意味着所有请求都会自动缓存。
对采用前缀缓存的模型，可将稳定的系统提示和参考内容放在前面，将变化的问题放在后面。需要显式缓存标记的模型，应按相应协议设置。
核对用量
在用量日志查看实际记录的缓存读取、写入和其他分类，并结合模型价格核对费用。
不同上游的总输入是否包含缓存输入并不一致，不能把全部分类再次相加。缺少缓存字段也不足以证明没有命中。
评估是否适合你的场景
使用同一模型和代表性输入，分别观察质量、延迟和费用。缓存折扣、命中条件和推理消耗均以本站配置及实际记录为准，见费用说明。