6GB 显存跑 Flint 40B:难题不加预算只出推理,加 1024 后 207 秒作答

同一台 RTX 3060 笔记本(6GB 显存),Flint 40B-A2.5B 与千问 3.6 35B 对比。速度与 bench 在同一天、同一构建(b11889)重测:聊天 21.6 对 22.2 token/s,基本打平。质量对照沿用上一期 run-004(旧构建、关思考),4 道可比题两边都是 3 过 1 部分过,Flint 每题慢 1.2–2 倍。一道难题上,不加 `--reasoning-budget` 时 Flint 只输出 13,364 字符推理、正文为空、439 秒被截断;加 1024 后 207 秒给出约 2,891 字符的答案,但那次解码只有 11.9 token/s。

结论

能否加载
可以

可用条件:质量题用 `--n-cpu-moe 43`、`-c 32768`、`-ctk q8_0 -ctv q8_0 -fa on`;遇到会长时间思考的难题要加 `--reasoning-budget`(本期用 1024),否则可能只输出推理、正文为空。MoE 缓存保持 0。

主要限制

  • 能力题每题只跑 1 轮,只能说明“这一次”。
  • 速度与 bench 是 10-26 同构建重测;质量对照沿用上一期 run-004(10-23、旧构建 623c16393、关思考),两边设置不对称。
  • 256K 只确认“能加载”,没有做生成计时;32K 也只验证了短提示与约 21K 的找针,未做满 32K 填充。
  • Flint 的思考不能关,所以不能拿它和“关思考的千问”直接比智力。

实验信息

硬件NVIDIA GeForce RTX 3060 Laptop GPU · 6 GB · laptop · CC 8.6
CPU / RAM12th Gen Intel(R) Core(TM) i7-12700H · 64 GB
模型Flint 40B · UD-Q4_K_XL · MoE
框架llama.cpp · d854d98
测试日期2026-10-26T00:00:00+08:00

视频

中文哔哩哔哩 / Bilibili在 B 站打开
英文YouTube在 YouTube 打开

核心结果

Flint 40B 千问 3.6 35B
聊天生成(c=4096,各 3 轮) 21.58 token/s 22.16 token/s(关思考)
跑分工具生成(llama-bench,单轮) 27.2 token/s 26.5 token/s
跑分工具读入(llama-bench,单轮) 257 token/s 314 token/s
空回复复现(难题) 推理 13,364 字符、正文 0、439 秒、被截断 —
加 --reasoning-budget 1024 正文约 2,891 字符、207 秒、解码 11.9 token/s —
鹈鹕骑车 部分通过(985 秒,腿和曲柄不动) 通过(495 秒,约一半用时)
贪吃蛇 5/5(275 秒) 4/5(部分过,153 秒)
修 bug 8/8(103 秒) 8/8(88 秒)
长文找针 通过(151 秒),但末尾多了一句没有依据的猜测 通过
MoE 缓存 0 → 1536 MiB 0 最好;1536 时只剩约 5–9 token/s —

可比 4 道质量题两边都是 3 过 + 1 部分过,打平;Flint 每题用时是千问的 1.2–2 倍。--n-cpu-moe 扫了 25/37/43/49 四档(每档 llama-bench -r 5),锁 43 最快。

测试条件

  • 测试日期:速度、bench、budget、MoE 缓存为 2026-10-26;质量题 run-002 为 2026-10-27。
  • 机器:RTX 3060 Laptop 6GB 显存、约 64GB 内存;WSL2 内可见约 47GB。
  • 引擎:llama.cpp b11889(commit d854d98),速度与 bench 两边都在这一版上重测;旧构建 623c16393 只出现在千问质量对照里。
  • 模型:Flint UD-Q4_K_XL,约 40B 总参数、每 token 激活 2.5B,每层 256 个专家取 6 个(另有共享专家);千问 3.6 35B-A3B UD-Q4_K_XL。
  • 质量题实际配置:-ngl 99 --n-cpu-moe 43 -c 32768 -ctk q8_0 -ctv q8_0 -fa on,Flint 开思考(温度 1.0 / top-p 0.95 / top-k 20);千问沿用上一期 run-004(关思考、温度 0.7)。
  • 聊天速度:另起 -c 4096 短提示跑 3 轮,不带 budget。
  • budget A/B:c=8192、默认 KV、max_tokens 4096,各 1 次;439 秒是 token 上限截断,不是时间上限。
  • 首轮 6 题里有 4 题因开跑前显存被占用而超时(1–3 token/s),清空后重跑,结果表是 run-002。

为什么回复是空的

Flint 会先把推理写满,再写正文。在一道需要长时间思考的难题上,不加限制时推理写了 13,364 个字符、正文 0 个字符,439 秒后被 4096 token 上限截断——看起来像“它没回”,其实是预算全花在思考上。质量主跑(贪吃蛇、修 bug、找针等)没有加 budget,都正常作答,所以这不是所有题的默认行为。

加 --reasoning-budget 1024 后,同一道题 207 秒给出约 2,891 个字符的正文,但那次解码只有 11.9 token/s;摘要里的 21.6 是另一组 -c 4096 短提示聊天测试,不是这次加预算后的速度。

MoE 缓存则是反直觉的一项:在 6GB 卡上,--moe-cache-mib 1536 时只剩 5–9 token/s,0 最好,显存占用也多出约 1GB。看起来是缓存挤占了显存、打乱了专家卸载路径,但这个机制没有单独验证。

上下文方面:32K 的短提示下,思考从约 0.5 秒开始,首个正文字约 12.6 秒;256K 能加载成功,但只记录“能加载”,没有做生成计时。能加载不等于好用。

复现要点

# 质量题(Flint,思考开,q8 KV + flash attention)
llama-server -m <Flint.gguf> -ngl 99 --n-cpu-moe 43 -c 32768 \
  -ctk q8_0 -ctv q8_0 -fa on ...

# 难题加预算(budget A/B 的实测口径:c=8192、默认 KV、max_tokens 4096)
llama-server ... -c 8192 --reasoning-budget 1024 ...

# 聊天速度(短提示,c=4096,3 轮)
llama-server ... -c 4096 ...

# 对照:千问(run-004 口径,关思考)
llama-server ... -ngl 99 -ncmoe 40 -c 32768 \
  --reasoning off   # Pi 端 --thinking off

扫专家层用 llama-bench -r 5,选中 43 后再跑 3 次短提示聊天;不要用 llama-bench 的数字当聊天速度。

边界与引用

  • 每题 1 轮:鹈鹕、贪吃蛇的结论都只能说“这一次”。
  • 另有 2 道难题 Flint 把 16,384 token 想满、0 文件,未与千问同口径,不计入比分。
  • 首轮的 4 次超时来自显存被占用,不代表模型能力;run-002 是清空显存后的结果,仍记录在这里。
  • 原文口径:厂商跑分与社区榜只作引用,不是本期实测;本文不出具体榜单数字。
  • 内部记录:01-实验/2026-10-26_flint40b-vs-qwen36-6gb/(protocol 与 Pi 评分)、04-账号/publish/flint40b/;公开视频:B站 https://www.bilibili.com/video/BV1VZxV6wEQ6/。

证据与变更

run_id来源支持的结论
FLD-001本站实测evidence/chat-tg.logFlint 与千问的聊天速度各 3 轮:21.58 / 22.16 token/s(c=4096,同一构建)
FLD-002本站实测evidence/bench-flint-ncmoe43.json; evidence/bench-qwen-ncmoe40.jsonllama-bench 单轮:Flint 27.2 / 257、千问 26.5 / 314(tg128 / pp512)
FLD-003本站实测evidence/budget-summary.tsv; evidence/budget-A.json难题不加 budget:推理 13,364 字符、正文 0、439 秒被截断
FLD-004本站实测evidence/budget-B.json加 --reasoning-budget 1024:正文约 2,891 字符、207 秒、解码 11.9 token/s
FLD-005本站实测pi-score-run002.md质量题 run-002:四道可比题两边同为 3 过 1 部分过,Flint 每题慢 1.2–2 倍
FLD-006本站实测evidence/moecache.tsvMoE 缓存 0 最好;1536 MiB 时约 5–9 token/s
FLD-007本站实测evidence/maxctx-32k-ttft.json32K 短提示:思考首字 495 ms、首个正文字 12,585 ms(约 12.6 s)
FLD-008本站实测evidence/maxctx.tsv256K 只记录“能加载”,没有生成计时

修订记录

  • 2026-11-09 —— 首版草稿(由交接资料补写,中文);2026-11-09 按独立审核意见修正空回复适用范围、同日同构建表述、q8 KV + flash attention、12.6 秒口径,并补证据条目。