Skip to main content

8×H200 部署 DeepSeek-V4.1-Flash，并发 8 就极慢，首字延迟数分钟，GPU SM 100% 但 generation tput 为 0🌐 链接:

  1. 8×H200 部署 DeepSeek-V4.1-Flash，并发 8 就极慢，首字延迟数分钟，GPU SM 100% 但 generation tput 为 0

    🌐 链接: https://linux.do/t/topic/2938905

    🔍 关键词: #api

    🏷️ 分组: LinuxDo论坛

    🕒 时间: 2026-09-23 09:29:25
    LINUX DO
    8×H200 部署 DeepSeek-V4.1-Flash，并发 8 就极慢，首字延迟数分钟，GPU SM 100% 但 generation tput 为 0
    机器是8张H200，2T内存，本地NVMe放的模型。vLLM用的nightly镜像，部署的DeepSeek-V4.1-Flash。启动参数大概是这样： --tensor-parallel-size 8 --enable-expert-parallel –max-model-len 1048576 --max-num-seqs 64 –enable-prefix-caching –speculative-config ‘{“method”:“dspark”,“num_speculative_tokens”:5…