6G显存笔记本跑125B：Strata每秒28–34个token，llama.cpp约12个，但Strata差点跑不起来
RTX 3060 笔记本 6GB 显存 + 64GB 内存，跑 125B 的 Qwen3.8 Flash Next（Q2_0）。Strata 聊天每秒 28–34 个 token，是 llama.cpp 的两倍多，4K 文档首字快一倍；但默认配置差 383MiB 显存起不来，关掉草稿层后只能开 8K 上下文。llama.cpp 慢，但 32K 照样跑。
视频
结果
| Strata | llama.cpp | |
|---|---|---|
| 聊天速度 | 28–34 t/s | 约 12 t/s（11.72–13.01） |
| 4K 文档首字 | 14–15 秒（14.01 / 15.23） | 26–28 秒（25.48–26.58 / 28.40） |
| 冷启动 | 30–42 秒 | 约 37 秒（37.2 / 37.6） |
| 读提示词 | 466.7 t/s（官方 bench，4K） | 155.64 t/s（llama-bench pp32768） |
| 最大上下文（6G 卡） | 8K | 32K 可跑 |
| 显存 | — | 聊天 4539MiB，32K 时 5109MiB |
| 内存 | 约 35.8GB（35789MiB，专家锁在内存） | 页缓存峰值约 36GB |
想要快就用 Strata，代价是只有 8K；要长上下文、省心就用 llama.cpp。两个都差不多需要 64GB 内存。
设置
- 机器：RTX 3060 Laptop 6GB + 64GB 内存（WSL2 内可见约 47GB）。
- 模型：Qwen3.8 Flash Next，125B 总参数、每 token 激活 6B；ISTA-DASLab GSQ-RCO Q2_0，两片共 66.4GB（主体 37.6GB + 词表 28.8GB）。
- llama.cpp
623c16393（10-16 master）：llama-server -ngl 99 -ncmoe 48 -lm mmap -lzm on -c 8192；长上下文用llama-bench。 - Strata（github.com/Niko1221/Strata）：
--max-context 8192 --kv q4_0 --spec 4，去掉--mtp。
Strata 在 6G 卡上怎么跑起来
官方写的是 12GB 显存起步，0.1.38 起 6GB 卡能启动（#496）。实际：
- 默认 16K / int8 KV / MTP：报错，expert cache 差 383MiB。
- 8K + q4_0 KV：仍差 208MiB。
--spec不能去（native IQ pack 要求 ≥2）。- 去掉
--mtp（加速草稿层）后能跑，上下文最多 8K。
文档里没写 6GB 要这样改。
llama.cpp 的 moe-cache 在 6G 卡上没用
新参数 --moe-cache-mib 试了 512 / 1024 / 1536 三档，都没有变快。1536 时显存到 5985MiB，读提示词从 124.6–143.2 t/s 掉到 61.5–63.0 t/s。小显存先别开。
质量：10 道题
同一份 GGUF、temp 0，10 道题（4 道代码、数学、逻辑、日期、长文档、中文写作）：
- 代码：单元测试两边都 20/20。
- 长文档 3 问：两边 3/3。
- 唯一出错：1234×5678。10-16 18:37 第一次测，llama.cpp 答对 7006652，Strata 答 7006852（错一位）；19:14 / 19:16 录屏复测两边都对。
低比特模型算数本来就不稳，单次结果说明不了哪个引擎更聪明；要算数最好让它写出步骤。另外同权重同 temp，两个引擎的输出并不逐字相同。
局限
- 每题只跑 1 次。
- Strata 不认
cache_prompt:false，预填只看第一次或官方 bench。 - 速度为多次聊天的范围，不是单一值。
- 显存/内存每秒采样一次。