6GB 显存笔记本实测:Nemotron 3.5 30B 21 题过 14,Qwen 3.6 35B 过 18

同一台 RTX 3060 笔记本(6GB 显存、约 64GB 内存),英伟达 Nemotron 3.5 Lightning 30B-A3B 对阵千问 3.6 35B-A3B。21 道 fun-v1 能力题里 Nemotron 14 过 2 部分过 5 未过,千问 18 过 2 部分过 1 未过;llama-bench 生成速度 16.1 对 19.2 token/s(3 轮均值)。中文常识 3 题里 1 部分 2 未过,出现书-作者错配和编造出处。每题只跑一轮,结论只代表这一次。

结论

能否加载
可以

可用条件:测试机约 64GB 内存(生成时整机内存峰值 43.8GB,未在更小内存上验证);用 `--n-cpu-moe` 把专家层留在 CPU(Nemotron 52、千问 40),其余层用 `-ngl 99` 放 GPU。

主要限制

  • 能力题每题只跑 1 轮,没有方差。
  • G1(贪吃蛇)与 F1(鹈鹕骑车)先由 check.py/Playwright 预筛,再人工看录屏复判:千问 G1 由误判纠正为 4/5、F1 判通过;G8-zh1/zh3 的人工复判只降不升。
  • Nemotron 扫了 40/52/53 三档后选 52;千问固定 ncmoe 40,本期未重扫。
  • Nemotron 的 128K/256K 只有 10-22 的参考值,未与千问同日重测,文章不拿它作对比。
  • 英文常识也是 3 题 2 过 1 未过(福尔摩斯陷阱题编造出处),不是只有中文组出错。

实验信息

硬件NVIDIA GeForce RTX 3060 Laptop GPU · 6 GB · laptop · CC 8.6
CPU / RAM12th Gen Intel(R) Core(TM) i7-12700H · 64 GB
模型Nemotron 3.5 Lightning 30B-A3B · UD-Q4_K_XL · moe
框架llama.cpp · 623c16393
测试日期2026-10-23T00:00:00+08:00

视频

中文哔哩哔哩 / Bilibili在 B 站打开
英文YouTube在 YouTube 打开

核心结果:21 道题,14 比 18

同一套 21 道题(全部来自 fun-v1 的 G/F 组),每题只跑一轮:

Nemotron 3.5 30B 千问 3.6 35B
通过 14 18
部分通过 2 2
未通过 5 1
21 题用时 2844 s(47.4 分钟) 1310 s(21.8 分钟)
含加载的总用时 51.2 分钟 25.4 分钟
模型加载 228 s 213 s
llama-bench 生成 tg128(3 轮均值) 16.1 token/s 19.2 token/s
llama-bench 读入 pp512(3 轮均值) 228 token/s 294 token/s
16K 提示词首字 57.7 s(单次;此前几次 66–83 s) 67.6 s
32K 深度生成(llama-bench,3 轮均值) 12 token/s 15.2 token/s
64K 提示词首字(单次) 280 s 297 s

表里的 16.1/19.2 与 228/294 来自 llama-bench 的 3 轮 ABABAB 交替,不是聊天速度。run-002 还有一组跑分(Nemotron 19.64 为单轮、Qwen 23.86 为三轮;Nemotron 那轮 S0 超 ±5%),本文不采用。

Nemotron 唯一明显赢的一项在英文逻辑题(F2-en):它想了 185 秒答对,千问 51 秒交卷但答错。16K 首字是单次补录,不能据此说 Nemotron 在 16K 稳赢;64K 首字来自 run-003 的 server maxctx。

测试条件

  • 测试日期:2026-10-23(北京时间)。
  • 机器:RTX 3060 Laptop 6GB、i7-12700H、约 64GB 内存(WSL 内可见约 47GB)。
  • 引擎:llama.cpp 623c16393(0.7.0-dev build 601),两边都 -ngl 99。
  • 模型:NVIDIA-Nemotron-3.5-Lightning-30B-A3B-UD-Q4_K_XL(约 30B 总参数、每 token 激活约 3B);千问 3.6 35B-A3B UD-Q4_K_XL。
  • 测速与深度:run-003 的 llama-bench,3 轮 ABABAB;16K 首字来自 run-004 单次补录。
  • 21 题:run-004 的 fun-v1 题库,Pi 1.4.0 驱动;采样 temperature 0.7、每轮换 seed;思考设置为 llama-server --reasoning off + pi --thinking off。
  • G1 与 F1 没有纯自动判分:check.py/Playwright 先预筛,再人工看录屏复判。

它输在哪

中文常识 3 题:1 部分、2 未过。 问四大名著及作者,Nemotron 把《水浒传》的作者写成罗贯中、还说它又名《聊斋志异》;问守株待兔出处,它答《淮南子·本经训》(应为《韩非子·五蠹》);画蛇添足那题把出处写成《战国策·楚策二》(应为齐策二)并编造了结局。英伟达官方模型卡列出的支持语言里没有中文,这组结果和这一点对得上。

英文常识 3 题:2 过、1 未过。 未过的是福尔摩斯那句“Elementary, my dear Watson”:它编出 1915 年《驼背人》第一次出现——那篇实际 1893 年就发表了,也没有这句话。

贪吃蛇是 0/5。 它把文件写成 snake.html(没有 index.html),录屏里一直停在 Start Game,控制台报 x is not defined。

鹈鹕骑车未通过。 画面基本静止,看不出腿和自行车;千问那版车轮在转、脚在蹬踏板。

长文找针两边都过。 中文《西游记》和英文 Sherlock Holmes 的 10%/50%/90% 位置都能找到;Nemotron 中文最慢一题 148 秒,千问每题 80 秒上下。

复现要点

# 测速(llama-bench,run-003,3 轮 ABABAB)
llama-bench -m <Nemotron.gguf> -ngl 99 -ncmoe 52 -p 512 -n 128 -r 5
llama-bench -m <Qwen.gguf>     -ngl 99 -ncmoe 40 -p 512 -n 128 -r 5

# 64K 首字(run-003 server maxctx):-c 65536 --temp 0
llama-server -m <Nemotron.gguf> -ngl 99 --n-cpu-moe 52 -c 65536 \
  --temp 0 -np 1 --jinja
llama-server -m <Qwen.gguf>     -ngl 99 --n-cpu-moe 40 -c 65536 \
  --temp 0 -np 1 --jinja

# 21 题(run-004):server 不带 --temp,采样由 Pi 注入
llama-server ... -ngl 99 --n-cpu-moe 52|40 -c 32768 -np 1 --jinja

三点注意:16K / 32K 的 server 用 -c 32768,64K 单测用 -c 65536;21 题的 temperature 0.7 与 per-round seed 由 Pi toolproxy 注入,不是 server 的 --temp 0;表里的速度是 llama-bench 的数字,不能当聊天速度;run-002 的 CAP 套用了服务端默认采样(temp 1.0、随机 seed)且 --thinking off 没关掉 reasoning,那一套题不在本文 21 题内。

边界与引用

  • 每题只跑 1 轮,尤其 G 组只能说明“这几道题上”的差异。
  • 部分通过的是 Nemotron 的 G3、G8-zh1 与千问的 G3、G1;其中 G3 没有逐项扣分证据,G8-zh1 有复判理由,千问 G1 有 4/5 明细。G1 对 Nemotron 未过、对千问部分通过;F1 对 Nemotron 未过、对千问通过。
  • 约 64GB 是测试机配置,不是实测最低内存需求。
  • 原始记录:F:\AI\experiments\2026-10-22-nemotron-qwen-rerun\;整理见 02-选题/nemotron35-30b/results-run-002-summary.md 与 results-summary-run004.md;模型卡:https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16。

证据与变更

run_id来源支持的结论
NEM-001本站实测evidence/results-summary-run004.md; evidence/results-nemotron.tsv; evidence/results-qwen.tsv; evidence/SCORING.md21 道 fun-v1 题:Nemotron 14 过 / 2 部分 / 5 未过,千问 18 / 2 / 1;21 题用时 2844 s / 1310 s
NEM-002本站实测evidence/speed-r{1,2,3}-ncmoe52.json; evidence/speed-r{1,2,3}-ncmoe40.jsonllama-bench 3 轮均值:tg128 16.1 / 19.2,pp512 228 / 294
NEM-003本站实测evidence/ttft-16k-nemotron.json; evidence/ttft-16k-qwen.json16K 提示词首字 57.7 s / 67.6 s(单次补录)
NEM-004本站实测evidence/depth-nemotron-r{1,2,3}.json; evidence/depth-qwen-r{1,2,3}.json32K 深度 llama-bench 生成 12 / 15.2 token/s
NEM-005本站实测evidence/results-summary-run004.md; evidence/results-nemotron.tsv; evidence/results-qwen.tsv中文常识 1 部分 2 未过、英文常识 2 过 1 未过(含编造出处)

修订记录

  • 2026-11-09 —— 首版草稿(由交接资料补写,中文);2026-11-09 按独立审核意见修正速度口径、用时、题库与判分方式。