记录一次vLLM 0.27.1 2080ti x2 抄作业🌐 链接:

根据仓库 zyYuc/qwen3-8-27b-dual-2080ti-vllm 编译专属vllm版本，实际上0.24.0之前的几个版本可以直接使用（我记得我在0.19.0，0.20.0版本是可以的），但是之后开始出现sm75不允许使用fp8 kvcache了。 这里记录一下我的抄作业方案（专用于 sm75设备 启动 qwen3.8 27b），如果大家需要参考请使用自己的具体路径： 编译 cd llms git clone https://github.com/zyYuc/qwen3-8-27b-dual…