Skip to main content

5070 Ti 16G 纯显卡推理跑本地AI，效果竟然还不错？🌐 链接:

  1. 5070 Ti 16G 纯显卡推理跑本地AI，效果竟然还不错？

    🌐 链接: https://linux.do/t/topic/3020186

    🔍 关键词: #api #gpt

    🏷️ 分组: LinuxDo论坛

    🕒 时间: 2026-10-13 23:47:30
    LINUX DO
    5070 Ti 16G 纯显卡推理跑本地AI，效果竟然还不错？
    本人最近突然有点想折腾，但又有点懒，而且我爸一直想尝试AI，但又担心隐私问题。于是让 GPT 帮我上网搜了一下，看看我的 5070Ti 电脑上有哪些能跑且效果不错的 AI 模型。 于是GPT就给我找到了我现在部署的这一款。 1️⃣省流（虽然我也不知道为啥省流） 5070Ti 16GB 纯显卡推理，192k上下文+缓存，42-78tok/s，带视觉。 1. 成绩 鹈鹕测试：耗时8m35s。画面整体偏简陋，但结构完整。鹈鹕脚粘在了踏板上，且没用翅膀骑车。 糖果题测试：得分 0/5。5轮测试均回答错误答案29。…