Cloudflare复盘AI审查降本：缓存命中高，也要检查上下文总量

10月19日，Cloudflare发布内部AI代码审查系统的优化复盘，介绍如何检查模型调用、上下文缓存及推理投入。本次内容是特定内部工作负载的工程案例，不是面向所有用户推出统一降价。

团队发现，缓存命中比例提高仍可能伴随成本上涨：如果每轮发送的上下文越来越大、调用次数增多，重复读取与写入的总量也会增加。其优化包括分离稳定提示前缀与环境信息，减少重复读取资料的调用。

文章同时检查审查质量，而非只比较费用和耗时。不同审查角色调整推理投入后表现并不一致，部分配置减少了重要问题的发现，因此仍需继续评估，不能把降本直接等同于效果保持不变。

对运行AI工作流的团队，更可借鉴的是测量方法：记录实际输入、调用和缓存使用，再用真实任务对比结果。文中成本节省与速度数字属于其自身样本，不能作为其他项目的收益保证。