关掉思考快约 9 倍,但 9 次答案从对变错:Qwen 35B 思考开关实测

同一台 6GB 显存笔记本、同一个 Qwen3.6-35B-A3B、同一套 16 道题(E5 因 v1 判分口径歧义排除,计分 15 道)跑 3 轮,唯一变量是关不关思考。开思考 45 次全对、总耗时 2772.7 秒;关思考 36 次对、总耗时 295.5 秒,快了约 9 倍,代价是 9 次答错——简单的 strawberry 题从 19 秒变 0.8 秒,但带陷阱的折扣题三次全错。

结论

能否加载
可以

可用条件:Qwen3.6-35B-A3B `UD-Q4_K_XL` + llama.cpp `d854d98`,32K 上下文、KV f16、统一采样;r1 单独起一个 server,E5 v2 / r2 / r3 共用另一个 server 进程(r2 与 r3 之间没有重启),只改请求里的 `enable_thinking`;build、模型与启动参数不变。

主要限制

  • 只测了这一颗模型、这一档量化、这一台机器。
  • 16 道题里 E5 的 v1 判分口径有歧义(item_count 该按品类数 3,模型按总件数 15 作答),r1 两边都记 PARTIAL;v2 改成 item_kinds 后两边通过,但为保持 15 题口径统一,E5 整体不计分。
  • 每题 3 轮用的是不同 seed(42 / 1001 / 2002),仍只代表这 3 轮。
  • 关思考省下的是“想”的时间,不是解码速度:decode 中位从 21.7 只升到 24.9 token/s(约 15%)。

实验信息

硬件NVIDIA GeForce RTX 3060 Laptop GPU · 6 GB · laptop · CC 8.6
CPU / RAM12th Gen Intel(R) Core(TM) i7-12700H · 64 GB
模型Qwen3.6-35B-A3B · UD-Q4_K_XL · moe
框架llama.cpp · d854d98
测试日期2026-11-07T08:36:00+08:00

核心结果:快 9 倍,错 9 次

开思考 关思考
正确 45 / 45 36 / 45
总耗时 2772.7 s 295.5 s
生成 token 总数 56,380 3,034
decode 中位速度 21.7 token/s 24.9 token/s
E3(strawberry 数 r) 19.0 s,答案 3 0.8 s,答案 3
M1(折扣陷阱) 3/3 对,答案 317.3,中位 64.0 s 0/3 对,答案 357.2 / 361 / 357.2,中位 1.75 s
工具调用题 9/9 对,中位 60.4 s 9/9 对,中位 18.0 s

M1 的反差最大:关思考只用约 1.7 秒,比开思考的 54–65 秒快约 36 倍,却三次都算错。

关思考答错的 9 次分布:M1 三次、M2 两次、H1 两次、M3 一次、E4 一次。简单的常识和工具调用基本不受影响;多步计算和逻辑题受影响最大。

测试条件

  • 机器:RTX 3060 Laptop 6GB 显存、约 64GB 内存(WSL 可见约 47GB)。
  • 模型:Qwen3.6-35B-A3B UD-Q4_K_XL;引擎 llama.cpp d854d98(0.7.0-dev build 1)。
  • 固定项:32K 上下文、KV f16(默认)、max_tokens 16384、每题墙钟上限 900 秒、cache_prompt:false。
  • 采样:温度 0.7、top_p 0.8、top_k 20、min_p 0.0,开/关两边同一组。
  • 唯一变量:请求里的 enable_thinking(开/关);预检确认关掉后 reasoning_content 为空、开着时不为空。
  • 轮次差异:r1 用 run_v1.py,没有散热冷却;r2/r3 用 run.py,请求前有 cooldown(r3 的 M1 等了 60 秒),wall_s 不含冷却时间。
  • 题库 16 题:常识、信息抽取、多步数学/逻辑、代码、难推理、工具调用;判分由脚本或人工按事先标准执行,不让模型自评。

快在哪,错在哪

快的主要原因是少写了字。 开思考一共生成 56,380 个 token,关思考只有 3,034 个,约 18.6 倍;decode 速度只从 21.7 升到 24.9,约 15%。所以省下的是“想”的那段,引擎本身没有变快多少。

简单题看不出差别。 strawberry 数 r 这类题,开思考花 19 秒把过程写一遍,关思考 0.8 秒直接给答案,结果都是 3。

带陷阱的题会翻车。 折扣叠加那道 M1,开思考 3 次全对(答案 317.3,每次 54–65 秒);关思考 3 次全错(算成 357.2 / 361 / 357.2),但只用约 1.7 秒——它更快地给出了错误答案。

工具调用不受影响。 9 次调用两边全对,中位时间从 60.4 秒降到 18.0 秒,这是最划算的一类:流程固定、判断少。

复现要点

# 服务端(r1 一个进程;E5 v2/r2/r3 共用另一个,参数不变)
llama-server -m <Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf> -c 32768 \
  -ngl 99 --n-cpu-moe 99 --jinja --reasoning-format deepseek \
  --port 8091 -np 1

# 请求:只改这一个字段
{ "chat_template_kwargs": { "enable_thinking": false } }

采样固定 temp 0.7 / top_p 0.8 / top_k 20 / min_p 0.0,cache_prompt:false,max_tokens 16384。

跑之前先做预检:关掉后 reasoning_content 必须为空、开着时不为空,否则变量没控住。本次每轮按任务交替开/关顺序,同一题跨轮不保证 ABBA;复现时如果要严格 ABBA,需自己重排。

边界与引用

  • 这不是“关思考一定更好”:M1 关思考快约 36 倍,却三次全错。
  • 结论只覆盖这一颗模型、这一档量化;换模型或换量化要重测。
  • 原始记录:F:\BotWork\experiments\thinking-on-off\ 的 results_r1、results_r1_E5v2、results_r2、results_r3 与 capture.log;发布包副本在 04-账号/publish/thinking-on-off/in/exp/。
  • 视频 2026-11-13 20:00(B 站)/ 22:00(YouTube)发布,届时再补视频链接。

证据与变更

run_id来源支持的结论
TOO-001本站实测evidence/results_r1/runs.jsonl; evidence/results_r2/runs.jsonl; evidence/results_r3/runs.jsonl(E5 不计分)15 题 × 3 轮:开思考 45/45、总 2772.7 s;关思考 36/45、295.5 s
TOO-002本站实测evidence/results_r1/runs.jsonl; evidence/results_r2/runs.jsonl; evidence/results_r3/runs.jsonl; evidence/M1_on.json; evidence/M1_off.jsonM1:开 3/3 对(答案 317.3,中位 64.0 s);关 0/3(答案 357.2 / 361 / 357.2,约 1.7 s)
TOO-003本站实测evidence/results_r1/runs.jsonl; evidence/results_r2/runs.jsonl; evidence/results_r3/runs.jsonl(T1–T3)工具调用 9/9 两边全对,中位 60.4 s / 18.0 s
TOO-004本站实测evidence/results_r1/runs.jsonl; evidence/results_r2/runs.jsonl; evidence/results_r3/runs.jsonl(decode_tps 与 predicted_n)decode 中位 21.7 / 24.9 token/s;生成 token 56,380 / 3,034
TOO-005本站实测evidence/results_r1/runs.jsonl; evidence/results_r2/runs.jsonl; evidence/results_r3/runs.jsonl(E3)E3 strawberry:开 19.0 s / 关 0.8 s,答案都是 3

修订记录

  • 2026-11-09 —— 首版草稿(由交接资料补写,中文);2026-11-09 按独立审核意见修正 M1 答案/耗时混淆、E5 口径、复现命令与轮次说明。