Skip to main content

大家最近本地跑小模型都用啥？Ollama 和 vLLM 差别大吗🌐 链接:

  1. 大家最近本地跑小模型都用啥？Ollama 和 vLLM 差别大吗

    🌐 链接: https://linux.do/t/topic/2937200

    🔍 关键词: #api

    🏷️ 分组: LinuxDo论坛

    🕒 时间: 2026-09-22 20:54:37
    LINUX DO
    大家最近本地跑小模型都用啥？Ollama 和 vLLM 差别大吗
    手头折腾了台机器想在本地跑跑 Qwen 和 DeepSeek 的小尺寸蒸馏版，平时主要写写脚本和做点简单总结。之前一直图省事用 Ollama，听说 vLLM 推理吞吐和显存优化更好一些，但配置好像略折腾。大家日常本地轻度用或者给局域网提供 API，更推荐哪个？多卡或者单卡跑 14B/32B 体验差距大吗？