《做多模型调度时，缓存策略对成本影响比想象中大》🌐 链接:

最近在优化AI接口调度系统时，重点测试了一下缓存机制，结果有点意外。未使用缓存：每次请求都走模型成本较高响应波动明显使用缓存后：相似请求直接命中API调用下降明显响应稳定性提升遇到的问题：相似度判断容易误判不同模型输出差异导致缓存污染长文本缓存命中率低后面准备再做一层语义级缓存试试效果。