本地部署 Qwen3.8-27B

夕梦

2026-09-10 86 阅读 0 评论

NAS# AI# NAS

把 Qwen3.8-27B 塞进一张 A 卡：7900 XTX 本地部署记录

写在前面

Qwen3.8-27B 开源之后，本地部署圈又开始热闹起来，刚好手里有一张 7900 XTX 显卡，24GB 显存刚好卡在一个很微妙的线上——Qwen3.8-27B 的 Q4_K_M 量化版本大概 16.8GB，加上 KV Cache 和各种开销，24GB 刚好够用，但又不会太宽松。

网上很多人说 A 卡跑大模型是给自己找罪受，但其实那都是老黄历了，现在 A 卡一样能跑大模型。

本文结合近期的社区实测与教程，梳理在 7900 XTX 上部署 Qwen3.8-27B 的完整思路。

我的配置

AMD Ryzen 9 5900X + Radeon RX 7900 XTX（24GB 显存）+ DDR4 3200 64GB 内存。是的，全 A 家桶。

选对模型文件，少走一半弯路

Qwen3.8-27B 的原始权重是 BF16 格式，55.6GB——7900 XTX 那 24GB 显存根本塞不下。所以必须用 GGUF 量化版本。

我选的是 Q4_K_M。这个量化版本在 24GB 显卡上被广泛验证过，16.8GB 的权重文件加上 KV Cache 后正好能塞进 24GB 显存里。如果你显存更小（比如 16GB），可以考虑 Q3_K_M（13.5GB），但 24GB 卡用 Q4_K_M 是最稳的。

下载地址在 Hugging Face 上，unsloth/Qwen3.8-27B-GGUF 这个仓库里有各种量化版本。另外还需要下载 mmproj-F16.gguf，这是多模态的视觉投影文件，Qwen3.8 是视觉语言模型，看图说话就靠它。

部署工具 llama.cpp

很多人用 Ollama 或者 LM Studio，图省事。但如果你想榨干 7900 XTX 的每一滴性能，必须上 llama.cpp。

llama.cpp 对 AMD 显卡的支持主要有两条路：ROCm 和 Vulkan。网上普遍说 ROCm 是 AMD 官方方案，性能更好。但我实测下来，Windows 下 Vulkan 后端反而更省心。ROCm 在 Windows 上要折腾 WSL2，配置链路太长。Vulkan 直接跑，不用装一堆驱动和依赖。

有评测也印证了这一点：在某些场景下，Vulkan 在 AMD 显卡上的表现甚至超过了 ROCm

下载 llama.cpp

下载 llama.cpp 官方预编译包

访问发布页：打开 llama.cpp 的官方 GitHub Releases 页面：https://github.com/ggml-org/llama.cpp/releases
选择正确的压缩包：在 Assets（资源文件）区域，找到一个命名格式类似 llama-bXXXX-bin-win-<feature>-x64.zip 的文件。
- bXXXX：代表版本号，选择最新的就行。
- <feature>：这代表编译时启用的功能。
  - 因为咱们要用 AMD 显卡加速，所以需要下载 vulkan 版本。它的文件名会包含 ...-win-vulkan-x64.zip。
  - 如果你只是用 CPU 跑，就选 ...-win-cpu-x64.zip 或 ...-win-openblas-x64.zip。
解压并使用：下载完成后，将压缩包解压到一个纯英文路径的文件夹里，比如 D:\llama.cpp。解压后，你就能在 bin 文件夹里找到 llama-server.exe 等可执行文件了。

启动命令

powershell

llama-server.exe ^
  -m models\Qwen3.8-27B-Q4_K_M.gguf ^
  -ngl 99 ^
  -c 131072 ^
  -ctk q4_0 ^
  -ctv q4_0 ^
  --jinja ^
  --spec-type draft-mtp ^
  --spec-draft-n-max 3 ^
  --mmproj models\mmproj-F16.gguf ^
  --host 0.0.0.0 ^
  --port 8080

几个关键参数解释一下：

-ngl 99：把所有层都扔到 GPU 上跑。7900 XTX 显存够用，就别让 CPU 掺和了。
-c 131072：上下文窗口开到 128k。
-ctk q4_0 -ctv q4_0：KV Cache 用 4-bit 量化，省显存。
--spec-type draft-mtp --spec-draft-n-max 3：开启 MTP（多令牌预测），这是速度翻倍的关键。

开启多模态

Qwen3.8-27B 是视觉语言模型。加载 mmproj-F16.gguf 后，就可以传图片了。

实测效果还不错——扔一张图片进去，能描述内容、识别物体。当然不能跟专门的视觉模型比，但作为一个附赠功能，够用了。

显存方面，加载 mmproj 后大概多占不到 1GB，可以接受。

开启局域网访问

加两个参数就行：

powershell

--host 0.0.0.0 --port 8080

然后同一局域网的其他设备就能通过 http://<你的IP>:8080 访问了。手机、笔记本、另一台台式机都能用这个本地模型。

防火墙记得给 8080 端口开个绿灯。

写一个小游戏

提示词

text

请帮我写一个完整的、可直接运行的 HTML 五子棋游戏页面。

要求如下：
1.  使用 HTML + CSS + JavaScript，所有代码放在一个文件中。
2.  棋盘为 15x15 标准五子棋棋盘。
3.  支持双人轮流对战（黑棋先下，白棋后下）。
4.  当一方达成五子连珠（横、竖、斜）时，弹出胜利提示并结束游戏。
5.  界面设计简洁美观，棋盘有线条和星位（天元、小目）。
6.  提供“重新开始”按钮，可以重置对局。

请直接输出完整的代码。