关掉思考快约 9 倍,但 9 次答案从对变错:Qwen 35B 思考开关实测
同一台 6GB 显存笔记本、同一个 Qwen3.6-35B-A3B、同一套 16 道题(E5 因 v1 判分口径歧义排除,计分 15 道)跑 3 轮,唯一变量是关不关思考。开思考 45 次全对、总耗时 2772.7 秒;关思考 36 次对、总耗时 295.5 秒,快了约 9 倍,代价是 9 次答错——简单的 strawberry 题从 19 秒变 0.8 秒,但带陷阱的折扣题三次全错。
结论
可用条件:Qwen3.6-35B-A3B `UD-Q4_K_XL` + llama.cpp `d854d98`,32K 上下文、KV f16、统一采样;r1 单独起一个 server,E5 v2 / r2 / r3 共用另一个 server 进程(r2 与 r3 之间没有重启),只改请求里的 `enable_thinking`;build、模型与启动参数不变。
主要限制
- 只测了这一颗模型、这一档量化、这一台机器。
- 16 道题里 E5 的 v1 判分口径有歧义(item_count 该按品类数 3,模型按总件数 15 作答),r1 两边都记 PARTIAL;v2 改成 item_kinds 后两边通过,但为保持 15 题口径统一,E5 整体不计分。
- 每题 3 轮用的是不同 seed(42 / 1001 / 2002),仍只代表这 3 轮。
- 关思考省下的是“想”的时间,不是解码速度:decode 中位从 21.7 只升到 24.9 token/s(约 15%)。
实验信息
| 硬件 | NVIDIA GeForce RTX 3060 Laptop GPU · 6 GB · laptop · CC 8.6 |
|---|---|
| CPU / RAM | 12th Gen Intel(R) Core(TM) i7-12700H · 64 GB |
| 模型 | Qwen3.6-35B-A3B · UD-Q4_K_XL · moe |
| 框架 | llama.cpp · d854d98 |
| 测试日期 | 2026-11-07T08:36:00+08:00 |
核心结果:快 9 倍,错 9 次
| 开思考 | 关思考 | |
|---|---|---|
| 正确 | 45 / 45 | 36 / 45 |
| 总耗时 | 2772.7 s | 295.5 s |
| 生成 token 总数 | 56,380 | 3,034 |
| decode 中位速度 | 21.7 token/s | 24.9 token/s |
| E3(strawberry 数 r) | 19.0 s,答案 3 | 0.8 s,答案 3 |
| M1(折扣陷阱) | 3/3 对,答案 317.3,中位 64.0 s | 0/3 对,答案 357.2 / 361 / 357.2,中位 1.75 s |
| 工具调用题 | 9/9 对,中位 60.4 s | 9/9 对,中位 18.0 s |
M1 的反差最大:关思考只用约 1.7 秒,比开思考的 54–65 秒快约 36 倍,却三次都算错。
关思考答错的 9 次分布:M1 三次、M2 两次、H1 两次、M3 一次、E4 一次。简单的常识和工具调用基本不受影响;多步计算和逻辑题受影响最大。
测试条件
- 机器:RTX 3060 Laptop 6GB 显存、约 64GB 内存(WSL 可见约 47GB)。
- 模型:Qwen3.6-35B-A3B
UD-Q4_K_XL;引擎 llama.cppd854d98(0.7.0-dev build 1)。 - 固定项:32K 上下文、KV f16(默认)、
max_tokens16384、每题墙钟上限 900 秒、cache_prompt:false。 - 采样:温度 0.7、top_p 0.8、top_k 20、min_p 0.0,开/关两边同一组。
- 唯一变量:请求里的
enable_thinking(开/关);预检确认关掉后reasoning_content为空、开着时不为空。 - 轮次差异:r1 用 run_v1.py,没有散热冷却;r2/r3 用 run.py,请求前有 cooldown(r3 的 M1 等了 60 秒),wall_s 不含冷却时间。
- 题库 16 题:常识、信息抽取、多步数学/逻辑、代码、难推理、工具调用;判分由脚本或人工按事先标准执行,不让模型自评。
快在哪,错在哪
快的主要原因是少写了字。 开思考一共生成 56,380 个 token,关思考只有 3,034 个,约 18.6 倍;decode 速度只从 21.7 升到 24.9,约 15%。所以省下的是“想”的那段,引擎本身没有变快多少。
简单题看不出差别。 strawberry 数 r 这类题,开思考花 19 秒把过程写一遍,关思考 0.8 秒直接给答案,结果都是 3。
带陷阱的题会翻车。 折扣叠加那道 M1,开思考 3 次全对(答案 317.3,每次 54–65 秒);关思考 3 次全错(算成 357.2 / 361 / 357.2),但只用约 1.7 秒——它更快地给出了错误答案。
工具调用不受影响。 9 次调用两边全对,中位时间从 60.4 秒降到 18.0 秒,这是最划算的一类:流程固定、判断少。
复现要点
# 服务端(r1 一个进程;E5 v2/r2/r3 共用另一个,参数不变)
llama-server -m <Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf> -c 32768 \
-ngl 99 --n-cpu-moe 99 --jinja --reasoning-format deepseek \
--port 8091 -np 1
# 请求:只改这一个字段
{ "chat_template_kwargs": { "enable_thinking": false } }采样固定 temp 0.7 / top_p 0.8 / top_k 20 / min_p 0.0,cache_prompt:false,max_tokens 16384。
跑之前先做预检:关掉后 reasoning_content 必须为空、开着时不为空,否则变量没控住。本次每轮按任务交替开/关顺序,同一题跨轮不保证 ABBA;复现时如果要严格 ABBA,需自己重排。
边界与引用
- 这不是“关思考一定更好”:M1 关思考快约 36 倍,却三次全错。
- 结论只覆盖这一颗模型、这一档量化;换模型或换量化要重测。
- 原始记录:
F:\BotWork\experiments\thinking-on-off\的results_r1、results_r1_E5v2、results_r2、results_r3与capture.log;发布包副本在04-账号/publish/thinking-on-off/in/exp/。 - 视频 2026-11-13 20:00(B 站)/ 22:00(YouTube)发布,届时再补视频链接。
证据与变更
| run_id | 来源 | 支持的结论 |
|---|---|---|
| TOO-001 | 本站实测evidence/results_r1/runs.jsonl; evidence/results_r2/runs.jsonl; evidence/results_r3/runs.jsonl(E5 不计分) | 15 题 × 3 轮:开思考 45/45、总 2772.7 s;关思考 36/45、295.5 s |
| TOO-002 | 本站实测evidence/results_r1/runs.jsonl; evidence/results_r2/runs.jsonl; evidence/results_r3/runs.jsonl; evidence/M1_on.json; evidence/M1_off.json | M1:开 3/3 对(答案 317.3,中位 64.0 s);关 0/3(答案 357.2 / 361 / 357.2,约 1.7 s) |
| TOO-003 | 本站实测evidence/results_r1/runs.jsonl; evidence/results_r2/runs.jsonl; evidence/results_r3/runs.jsonl(T1–T3) | 工具调用 9/9 两边全对,中位 60.4 s / 18.0 s |
| TOO-004 | 本站实测evidence/results_r1/runs.jsonl; evidence/results_r2/runs.jsonl; evidence/results_r3/runs.jsonl(decode_tps 与 predicted_n) | decode 中位 21.7 / 24.9 token/s;生成 token 56,380 / 3,034 |
| TOO-005 | 本站实测evidence/results_r1/runs.jsonl; evidence/results_r2/runs.jsonl; evidence/results_r3/runs.jsonl(E3) | E3 strawberry:开 19.0 s / 关 0.8 s,答案都是 3 |
修订记录
- 2026-11-09 —— 首版草稿(由交接资料补写,中文);2026-11-09 按独立审核意见修正 M1 答案/耗时混淆、E5 口径、复现命令与轮次说明。