Skip to main content

A800 + Qwen3.8-27B + vLLM + Caddy 网关部署记录：单卡 256K 上下文与 OpenAI-compatible 接入🌐 链接:

  1. A800 + Qwen3.8-27B + vLLM + Caddy 网关部署记录：单卡 256K 上下文与 OpenAI-compatible 接入

    🌐 链接: https://linux.do/t/topic/2936620

    🔍 关键词: #api

    🏷️ 分组: LinuxDo论坛

    🕒 时间: 2026-09-22 17:57:55
    LINUX DO
    A800 + Qwen3.8-27B + vLLM + Caddy 网关部署记录：单卡 256K 上下文与 OpenAI-compatible 接入
    A800 + Qwen3.8-27B + vLLM 推理服务部署记录 看到站里有佬发了 5090D + SGLang + WSL 的部署记录，我这边刚好走的是 vLLM 版本，环境是单张 A800 80GB，目标不是公网商业服务，而是给自己几台可信设备用一个 OpenAI-compatible API。 一、环境概况 项 配置 GPU NVIDIA A800 80GB 模型 Qwen/Qwen3.8-27B 引擎 vLLM 0.29.0 精度 BF16，未量化，未 CPU offload…