Skip to main content

5070 45tps本地跑180B Qwen3.8 q3！？🌐 链接:

  1. 5070 45tps本地跑180B Qwen3.8 q3！？

    🌐 链接: https://linux.do/t/topic/2954929

    🔍 关键词: #api

    🏷️ 分组: LinuxDo论坛

    🕒 时间: 2026-09-26 19:37:34
    LINUX DO
    5070 45tps本地跑180B Qwen3.8 q3！？
    如题 Reddit 老哥给 Qwen3.8 flash next 开发了一个专用推理引擎 Strata 在同样的 5070 12G + 64G 5600内存 + 六核 7600 CPU 配置下能够跑到 Q2_0 → 65.1 tps decode + 543 tps prefill IQ2_XS → 52.0 tps decode + 472 tps prefill IQ3_XXS → 44.8 tps decode + 414 tps prefill 与此同时 llama.cpp 的decode只有15tps…