6GB 显存跑 Flint 40B:难题不加预算只出推理,加 1024 后 207 秒作答
同一台 RTX 3060 笔记本(6GB 显存),Flint 40B-A2.5B 与千问 3.6 35B 对比。速度与 bench 在同一天、同一构建(b11889)重测:聊天 21.6 对 22.2 token/s,基本打平。质量对照沿用上一期 run-004(旧构建、关思考),4 道可比题两边都是 3 过 1 部分过,Flint 每题慢 1.2–2 倍。一道难题上,不加 `--reasoning-budget` 时 Flint 只输出 13,364 字符推理、正文为空、439 秒被截断;加 1024 后 207 秒给出约 2,891 字符的答案,但那次解码只有 11.9 token/s。
结论
可用条件:质量题用 `--n-cpu-moe 43`、`-c 32768`、`-ctk q8_0 -ctv q8_0 -fa on`;遇到会长时间思考的难题要加 `--reasoning-budget`(本期用 1024),否则可能只输出推理、正文为空。MoE 缓存保持 0。
主要限制
- 能力题每题只跑 1 轮,只能说明“这一次”。
- 速度与 bench 是 10-26 同构建重测;质量对照沿用上一期 run-004(10-23、旧构建 623c16393、关思考),两边设置不对称。
- 256K 只确认“能加载”,没有做生成计时;32K 也只验证了短提示与约 21K 的找针,未做满 32K 填充。
- Flint 的思考不能关,所以不能拿它和“关思考的千问”直接比智力。
实验信息
| 硬件 | NVIDIA GeForce RTX 3060 Laptop GPU · 6 GB · laptop · CC 8.6 |
|---|---|
| CPU / RAM | 12th Gen Intel(R) Core(TM) i7-12700H · 64 GB |
| 模型 | Flint 40B · UD-Q4_K_XL · MoE |
| 框架 | llama.cpp · d854d98 |
| 测试日期 | 2026-10-26T00:00:00+08:00 |
视频
核心结果
| Flint 40B | 千问 3.6 35B | |
|---|---|---|
| 聊天生成(c=4096,各 3 轮) | 21.58 token/s | 22.16 token/s(关思考) |
| 跑分工具生成(llama-bench,单轮) | 27.2 token/s | 26.5 token/s |
| 跑分工具读入(llama-bench,单轮) | 257 token/s | 314 token/s |
| 空回复复现(难题) | 推理 13,364 字符、正文 0、439 秒、被截断 | — |
加 --reasoning-budget 1024 |
正文约 2,891 字符、207 秒、解码 11.9 token/s | — |
| 鹈鹕骑车 | 部分通过(985 秒,腿和曲柄不动) | 通过(495 秒,约一半用时) |
| 贪吃蛇 | 5/5(275 秒) | 4/5(部分过,153 秒) |
| 修 bug | 8/8(103 秒) | 8/8(88 秒) |
| 长文找针 | 通过(151 秒),但末尾多了一句没有依据的猜测 | 通过 |
| MoE 缓存 0 → 1536 MiB | 0 最好;1536 时只剩约 5–9 token/s | — |
可比 4 道质量题两边都是 3 过 + 1 部分过,打平;Flint 每题用时是千问的 1.2–2 倍。--n-cpu-moe 扫了 25/37/43/49 四档(每档 llama-bench -r 5),锁 43 最快。
测试条件
- 测试日期:速度、bench、budget、MoE 缓存为 2026-10-26;质量题 run-002 为 2026-10-27。
- 机器:RTX 3060 Laptop 6GB 显存、约 64GB 内存;WSL2 内可见约 47GB。
- 引擎:llama.cpp
b11889(commitd854d98),速度与 bench 两边都在这一版上重测;旧构建623c16393只出现在千问质量对照里。 - 模型:Flint
UD-Q4_K_XL,约 40B 总参数、每 token 激活 2.5B,每层 256 个专家取 6 个(另有共享专家);千问 3.6 35B-A3BUD-Q4_K_XL。 - 质量题实际配置:
-ngl 99 --n-cpu-moe 43 -c 32768 -ctk q8_0 -ctv q8_0 -fa on,Flint 开思考(温度 1.0 / top-p 0.95 / top-k 20);千问沿用上一期 run-004(关思考、温度 0.7)。 - 聊天速度:另起
-c 4096短提示跑 3 轮,不带 budget。 - budget A/B:c=8192、默认 KV、max_tokens 4096,各 1 次;439 秒是 token 上限截断,不是时间上限。
- 首轮 6 题里有 4 题因开跑前显存被占用而超时(1–3 token/s),清空后重跑,结果表是 run-002。
为什么回复是空的
Flint 会先把推理写满,再写正文。在一道需要长时间思考的难题上,不加限制时推理写了 13,364 个字符、正文 0 个字符,439 秒后被 4096 token 上限截断——看起来像“它没回”,其实是预算全花在思考上。质量主跑(贪吃蛇、修 bug、找针等)没有加 budget,都正常作答,所以这不是所有题的默认行为。
加 --reasoning-budget 1024 后,同一道题 207 秒给出约 2,891 个字符的正文,但那次解码只有 11.9 token/s;摘要里的 21.6 是另一组 -c 4096 短提示聊天测试,不是这次加预算后的速度。
MoE 缓存则是反直觉的一项:在 6GB 卡上,--moe-cache-mib 1536 时只剩 5–9 token/s,0 最好,显存占用也多出约 1GB。看起来是缓存挤占了显存、打乱了专家卸载路径,但这个机制没有单独验证。
上下文方面:32K 的短提示下,思考从约 0.5 秒开始,首个正文字约 12.6 秒;256K 能加载成功,但只记录“能加载”,没有做生成计时。能加载不等于好用。
复现要点
# 质量题(Flint,思考开,q8 KV + flash attention)
llama-server -m <Flint.gguf> -ngl 99 --n-cpu-moe 43 -c 32768 \
-ctk q8_0 -ctv q8_0 -fa on ...
# 难题加预算(budget A/B 的实测口径:c=8192、默认 KV、max_tokens 4096)
llama-server ... -c 8192 --reasoning-budget 1024 ...
# 聊天速度(短提示,c=4096,3 轮)
llama-server ... -c 4096 ...
# 对照:千问(run-004 口径,关思考)
llama-server ... -ngl 99 -ncmoe 40 -c 32768 \
--reasoning off # Pi 端 --thinking off扫专家层用 llama-bench -r 5,选中 43 后再跑 3 次短提示聊天;不要用 llama-bench 的数字当聊天速度。
边界与引用
- 每题 1 轮:鹈鹕、贪吃蛇的结论都只能说“这一次”。
- 另有 2 道难题 Flint 把 16,384 token 想满、0 文件,未与千问同口径,不计入比分。
- 首轮的 4 次超时来自显存被占用,不代表模型能力;run-002 是清空显存后的结果,仍记录在这里。
- 原文口径:厂商跑分与社区榜只作引用,不是本期实测;本文不出具体榜单数字。
- 内部记录:
01-实验/2026-10-26_flint40b-vs-qwen36-6gb/(protocol 与 Pi 评分)、04-账号/publish/flint40b/;公开视频:B站 https://www.bilibili.com/video/BV1VZxV6wEQ6/。
证据与变更
| run_id | 来源 | 支持的结论 |
|---|---|---|
| FLD-001 | 本站实测evidence/chat-tg.log | Flint 与千问的聊天速度各 3 轮:21.58 / 22.16 token/s(c=4096,同一构建) |
| FLD-002 | 本站实测evidence/bench-flint-ncmoe43.json; evidence/bench-qwen-ncmoe40.json | llama-bench 单轮:Flint 27.2 / 257、千问 26.5 / 314(tg128 / pp512) |
| FLD-003 | 本站实测evidence/budget-summary.tsv; evidence/budget-A.json | 难题不加 budget:推理 13,364 字符、正文 0、439 秒被截断 |
| FLD-004 | 本站实测evidence/budget-B.json | 加 --reasoning-budget 1024:正文约 2,891 字符、207 秒、解码 11.9 token/s |
| FLD-005 | 本站实测pi-score-run002.md | 质量题 run-002:四道可比题两边同为 3 过 1 部分过,Flint 每题慢 1.2–2 倍 |
| FLD-006 | 本站实测evidence/moecache.tsv | MoE 缓存 0 最好;1536 MiB 时约 5–9 token/s |
| FLD-007 | 本站实测evidence/maxctx-32k-ttft.json | 32K 短提示:思考首字 495 ms、首个正文字 12,585 ms(约 12.6 s) |
| FLD-008 | 本站实测evidence/maxctx.tsv | 256K 只记录“能加载”,没有生成计时 |
修订记录
- 2026-11-09 —— 首版草稿(由交接资料补写,中文);2026-11-09 按独立审核意见修正空回复适用范围、同日同构建表述、q8 KV + flash attention、12.6 秒口径,并补证据条目。