Skip to main content

请教一下 CPA 的多源轮询机制会不会显著降低缓存命中率？🌐 链接:

  1. 请教一下 CPA 的多源轮询机制会不会显著降低缓存命中率？

    🌐 链接: https://linux.do/t/topic/2156038

    🔍 关键词: #api

    🏷️ 分组: LinuxDo论坛

    🕒 时间: 2026-05-11 20:09:30
    LINUX DO
    请教一下 CPA 的多源轮询机制会不会显著降低缓存命中率？
    比如我在 CPA 里给 deepseek-v4-pro 配置了多个上游 API 源。如果 CPA 在请求过程中不断轮询不同的 API provider，那么同一个长上下文会话是不是经常被发到不同的上游服务，导致服务端 prompt cache 不能稳定命中，这个理解对吗，向各位求教？