6GB 显存笔记本实测:Nemotron 3.5 30B 21 题过 14,Qwen 3.6 35B 过 18
同一台 RTX 3060 笔记本(6GB 显存、约 64GB 内存),英伟达 Nemotron 3.5 Lightning 30B-A3B 对阵千问 3.6 35B-A3B。21 道 fun-v1 能力题里 Nemotron 14 过 2 部分过 5 未过,千问 18 过 2 部分过 1 未过;llama-bench 生成速度 16.1 对 19.2 token/s(3 轮均值)。中文常识 3 题里 1 部分 2 未过,出现书-作者错配和编造出处。每题只跑一轮,结论只代表这一次。
结论
可用条件:测试机约 64GB 内存(生成时整机内存峰值 43.8GB,未在更小内存上验证);用 `--n-cpu-moe` 把专家层留在 CPU(Nemotron 52、千问 40),其余层用 `-ngl 99` 放 GPU。
主要限制
- 能力题每题只跑 1 轮,没有方差。
- G1(贪吃蛇)与 F1(鹈鹕骑车)先由 check.py/Playwright 预筛,再人工看录屏复判:千问 G1 由误判纠正为 4/5、F1 判通过;G8-zh1/zh3 的人工复判只降不升。
- Nemotron 扫了 40/52/53 三档后选 52;千问固定 ncmoe 40,本期未重扫。
- Nemotron 的 128K/256K 只有 10-22 的参考值,未与千问同日重测,文章不拿它作对比。
- 英文常识也是 3 题 2 过 1 未过(福尔摩斯陷阱题编造出处),不是只有中文组出错。
实验信息
| 硬件 | NVIDIA GeForce RTX 3060 Laptop GPU · 6 GB · laptop · CC 8.6 |
|---|---|
| CPU / RAM | 12th Gen Intel(R) Core(TM) i7-12700H · 64 GB |
| 模型 | Nemotron 3.5 Lightning 30B-A3B · UD-Q4_K_XL · moe |
| 框架 | llama.cpp · 623c16393 |
| 测试日期 | 2026-10-23T00:00:00+08:00 |
视频
核心结果:21 道题,14 比 18
同一套 21 道题(全部来自 fun-v1 的 G/F 组),每题只跑一轮:
| Nemotron 3.5 30B | 千问 3.6 35B | |
|---|---|---|
| 通过 | 14 | 18 |
| 部分通过 | 2 | 2 |
| 未通过 | 5 | 1 |
| 21 题用时 | 2844 s(47.4 分钟) | 1310 s(21.8 分钟) |
| 含加载的总用时 | 51.2 分钟 | 25.4 分钟 |
| 模型加载 | 228 s | 213 s |
| llama-bench 生成 tg128(3 轮均值) | 16.1 token/s | 19.2 token/s |
| llama-bench 读入 pp512(3 轮均值) | 228 token/s | 294 token/s |
| 16K 提示词首字 | 57.7 s(单次;此前几次 66–83 s) | 67.6 s |
| 32K 深度生成(llama-bench,3 轮均值) | 12 token/s | 15.2 token/s |
| 64K 提示词首字(单次) | 280 s | 297 s |
表里的 16.1/19.2 与 228/294 来自 llama-bench 的 3 轮 ABABAB 交替,不是聊天速度。run-002 还有一组跑分(Nemotron 19.64 为单轮、Qwen 23.86 为三轮;Nemotron 那轮 S0 超 ±5%),本文不采用。
Nemotron 唯一明显赢的一项在英文逻辑题(F2-en):它想了 185 秒答对,千问 51 秒交卷但答错。16K 首字是单次补录,不能据此说 Nemotron 在 16K 稳赢;64K 首字来自 run-003 的 server maxctx。
测试条件
- 测试日期:2026-10-23(北京时间)。
- 机器:RTX 3060 Laptop 6GB、i7-12700H、约 64GB 内存(WSL 内可见约 47GB)。
- 引擎:llama.cpp
623c16393(0.7.0-dev build 601),两边都-ngl 99。 - 模型:NVIDIA-Nemotron-3.5-Lightning-30B-A3B-
UD-Q4_K_XL(约 30B 总参数、每 token 激活约 3B);千问 3.6 35B-A3BUD-Q4_K_XL。 - 测速与深度:run-003 的
llama-bench,3 轮 ABABAB;16K 首字来自 run-004 单次补录。 - 21 题:run-004 的 fun-v1 题库,Pi 1.4.0 驱动;采样 temperature 0.7、每轮换 seed;思考设置为
llama-server --reasoning off+pi --thinking off。 - G1 与 F1 没有纯自动判分:check.py/Playwright 先预筛,再人工看录屏复判。
它输在哪
中文常识 3 题:1 部分、2 未过。 问四大名著及作者,Nemotron 把《水浒传》的作者写成罗贯中、还说它又名《聊斋志异》;问守株待兔出处,它答《淮南子·本经训》(应为《韩非子·五蠹》);画蛇添足那题把出处写成《战国策·楚策二》(应为齐策二)并编造了结局。英伟达官方模型卡列出的支持语言里没有中文,这组结果和这一点对得上。
英文常识 3 题:2 过、1 未过。 未过的是福尔摩斯那句“Elementary, my dear Watson”:它编出 1915 年《驼背人》第一次出现——那篇实际 1893 年就发表了,也没有这句话。
贪吃蛇是 0/5。 它把文件写成 snake.html(没有 index.html),录屏里一直停在 Start Game,控制台报 x is not defined。
鹈鹕骑车未通过。 画面基本静止,看不出腿和自行车;千问那版车轮在转、脚在蹬踏板。
长文找针两边都过。 中文《西游记》和英文 Sherlock Holmes 的 10%/50%/90% 位置都能找到;Nemotron 中文最慢一题 148 秒,千问每题 80 秒上下。
复现要点
# 测速(llama-bench,run-003,3 轮 ABABAB)
llama-bench -m <Nemotron.gguf> -ngl 99 -ncmoe 52 -p 512 -n 128 -r 5
llama-bench -m <Qwen.gguf> -ngl 99 -ncmoe 40 -p 512 -n 128 -r 5
# 64K 首字(run-003 server maxctx):-c 65536 --temp 0
llama-server -m <Nemotron.gguf> -ngl 99 --n-cpu-moe 52 -c 65536 \
--temp 0 -np 1 --jinja
llama-server -m <Qwen.gguf> -ngl 99 --n-cpu-moe 40 -c 65536 \
--temp 0 -np 1 --jinja
# 21 题(run-004):server 不带 --temp,采样由 Pi 注入
llama-server ... -ngl 99 --n-cpu-moe 52|40 -c 32768 -np 1 --jinja三点注意:16K / 32K 的 server 用 -c 32768,64K 单测用 -c 65536;21 题的 temperature 0.7 与 per-round seed 由 Pi toolproxy 注入,不是 server 的 --temp 0;表里的速度是 llama-bench 的数字,不能当聊天速度;run-002 的 CAP 套用了服务端默认采样(temp 1.0、随机 seed)且 --thinking off 没关掉 reasoning,那一套题不在本文 21 题内。
边界与引用
- 每题只跑 1 轮,尤其 G 组只能说明“这几道题上”的差异。
- 部分通过的是 Nemotron 的 G3、G8-zh1 与千问的 G3、G1;其中 G3 没有逐项扣分证据,G8-zh1 有复判理由,千问 G1 有 4/5 明细。G1 对 Nemotron 未过、对千问部分通过;F1 对 Nemotron 未过、对千问通过。
- 约 64GB 是测试机配置,不是实测最低内存需求。
- 原始记录:
F:\AI\experiments\2026-10-22-nemotron-qwen-rerun\;整理见02-选题/nemotron35-30b/results-run-002-summary.md与results-summary-run004.md;模型卡:https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16。
证据与变更
| run_id | 来源 | 支持的结论 |
|---|---|---|
| NEM-001 | 本站实测evidence/results-summary-run004.md; evidence/results-nemotron.tsv; evidence/results-qwen.tsv; evidence/SCORING.md | 21 道 fun-v1 题:Nemotron 14 过 / 2 部分 / 5 未过,千问 18 / 2 / 1;21 题用时 2844 s / 1310 s |
| NEM-002 | 本站实测evidence/speed-r{1,2,3}-ncmoe52.json; evidence/speed-r{1,2,3}-ncmoe40.json | llama-bench 3 轮均值:tg128 16.1 / 19.2,pp512 228 / 294 |
| NEM-003 | 本站实测evidence/ttft-16k-nemotron.json; evidence/ttft-16k-qwen.json | 16K 提示词首字 57.7 s / 67.6 s(单次补录) |
| NEM-004 | 本站实测evidence/depth-nemotron-r{1,2,3}.json; evidence/depth-qwen-r{1,2,3}.json | 32K 深度 llama-bench 生成 12 / 15.2 token/s |
| NEM-005 | 本站实测evidence/results-summary-run004.md; evidence/results-nemotron.tsv; evidence/results-qwen.tsv | 中文常识 1 部分 2 未过、英文常识 2 过 1 未过(含编造出处) |
修订记录
- 2026-11-09 —— 首版草稿(由交接资料补写,中文);2026-11-09 按独立审核意见修正速度口径、用时、题库与判分方式。