思考强度，
应该由谁来决定？

这是理解领域的通用优化视角。计算成本可以是 token、FLOPs 或真实延迟；它们不能直接互换。固定每题上限与固定整批平均预算也是不同问题，比较时必须先说明。

在模型训练方向，关键是数据如何提供信号、奖励如何处理质量与成本、模式或停止动作怎样获得梯度，以及这些策略能否跨难度与领域泛化。

Mohammad Ali Alomrani et al.

首次公开：2025-07-02 ｜ 最新：v1 · 2025-07-02

arXiv预印本；本次未确认正式会议或期刊发表

最适合建立本领域坐标系。它把遵循用户给定预算的可控推理，与依据问题难度或置信度动态分配预算的自适应推理分开，再分别梳理串行推理和并行采样的提示、微调与强化学习方法。对你而言，它能帮助区分“能调长短”与“能自动决定何时多想”，并把后续实验放在质量和计算成本的共同约束下。

建议阅读的章节

• §2.2：问题定义与预算约束
• §4：可控计算，作为固定预算基线
• §5：自适应计算，重点读串行方向中的SFT与RL
• §6：混合快慢思考与未来问题

阅读边界

• 当前仍为2025年7月初版，不能代表2026年全部研究。
• 文中的可控性层次是作者的分析框架，不能当作所有论文通用命名。

Chao Wu, Baoheng Li, Mingchen Gao, Yu Tian, Zhenyi Wang

首次公开：2025-11-13 ｜ 最新：v3 · 2026-03-31

arXiv预印本；本次未确认正式接收记录

这篇把研究目标从平均节省计算推进到按输入分配思考。它用性能与成本共同约束的策略优化描述问题，再区分通过RL、SFT、蒸馏或路由器学习的适应性，以及提示、反馈早停和模块组合带来的推理时控制。对后训练研究尤其有用：可据此明确自己优化的是模型策略、外部控制器，还是两者协同。

建议阅读的章节

• §2.1.2–2.1.3：资源约束优化与单纯追求效率的局限
• §2.3：自适应推理的正式定义
• §3.1：RL、SFT/蒸馏、学习型控制器和路由
• §3.2、4–5：免训练对照、开放挑战和综述局限

阅读边界

• 分类与问题形式化是综述贡献，不是统一重跑全部方法的实证排名。
• 正式发表状态未确认，不能写作ACL已接收。

Jason Zhu, Hongyu Li

首次公开：2025-07-13 ｜ 最新：v1 · 2025-07-13

arXiv预印本；本次未确认正式会议或期刊发表

适合把概念转为可实现的实验清单。综述同时覆盖推理链缩短与快慢思考切换，先讨论评测，再按免训练和训练方法组织材料；后训练部分细分长度惩罚、GRPO变体、难度感知及思考模式奖励。建议用它检查实验是否只学会变短，还是能为不同问题分配不同计算，并挑选一个清晰的训练基线。

建议阅读的章节

• §2.3–2.4：效率指标与现有评测问题
• §3.1–3.3：预算提示、路由与早停等免训练基线
• §4.2.3–4.2.4：难度感知和思考模式强化学习
• §5：模型能力、用户偏好与可信推理

阅读边界

• 仍是2025年7月初版；需用2026年方法论文补齐新进展。
• 压缩推理与自适应分配并列，不能把每个缩短CoT的方法都视为adaptive。

Rui Wang et al.

首次公开：2025-03-31 ｜ 最新：v3 · 2026-09-08

arXiv预印本；当前Comments仍为In Progress

本次选入综述中更新时间较新的效率全景图，最新版本为2026年9月。它把浪费来源区分为训练形成的行为和推理时使用方式，分别整理预算感知调优、快慢系统合作、推理链压缩、动态网络结构及解码阶段的预算分配。很适合连接你的蒸馏与效率背景，但阅读重点应放在预算学习和控制，避免被全部压缩方向分散。

建议阅读的章节

• §3：训练行为与测试时使用的低效来源
• §4.2.2：预算感知调优、对齐和自适应门控
• §4.3.1：单模型路由、多模型协同和蒸馏
• §5.1.1、5.2.2、6：解码前/中预算分配与评测讨论

阅读边界

• 最新版本日期不等于其覆盖文献已经完整截止到该日。
• 作者标注仍在进行中；覆盖广度较大，需要按研究问题选择章节。

Xinda Jia et al.

首次公开：2025-08-17 ｜ 最新：v2 · 2026-07-08

Frontiers of Computer Science已接收；出版社页面显示2026-07-10在线发表并标注Just Accepted

它把自适应思考扩大为“选哪种解题方式”，而不只是输出多少token。综述同时研究直接回答、较深推理与调用外部工具，区分模型内部学会的隐式选择和规则或模型控制的显式选择，并分析置信度、任务复杂度及收益估计。适合你在模式切换研究之后继续进入Agent训练，也能提醒实验同时记录工具和路由开销。

建议阅读的章节

• §2：决策因素提取与策略选择的形式化
• §4.1–4.2：SFT/RL隐式选择与规则/模型显式选择
• §5.1–5.2：置信度、任务难度与工具使用收益
• §6：统一选择及后续方向

阅读边界

• 涉及工具增强调度，范围超过纯文本思考长度控制。
• 期刊接收不能表述为顶会论文；引用出版社版时保留其Just Accepted状态。

Jiaqi Wei et al.

首次公开：2026-08-31 ｜ 最新：v1 · 2026-08-31

作者在arXiv Comments声明已被EMNLP 2026接收；本次尚未找到可交叉核验的ACL Anthology条目

这篇2026年新综述适合作为横向扩展，理解思考预算也能花在多路径搜索，而非只延长单条推理链。它从搜索表示、过程或结果奖励、评估器以及控制策略组织MCTS和启发式搜索，并专门讨论什么时候不值得搜索、如何统一记录计算成本。对你的价值是建立强基线和评测口径，避免把更多采样造成的收益误认为自适应训练收益。

建议阅读的章节

• §3.3：奖励与评估器设计
• §3.7：是否应使用搜索的判断与取舍
• §5、附录G：统一评测和计算成本核算
• §附录D：RL与搜索如何利用奖励信号

阅读边界

• 树搜索专题不能替代思考模式切换的核心综述。
• 接收状态目前只从作者arXiv声明确认，发布时宜附这一限定。

首次公开／最新版本：2026-09-01 · v1

比核心综述更新，但同时覆盖测试时适应、学习、视觉及机器人，用户当前主题不需要从头读。

作者arXiv声明Machine Intelligence Research已接收，列出相关DOI 10.1007/s11633-026-1694-1；本次未独立核验期刊页面

• 4.2.5 自适应计算与动态预算
• 5.2 学会分配计算、选择推理/检索/搜索

Scaling LLM Test-Time Compute Optimally Can be More Effective than Scaling Parameters for Reasoning

Charlie Snell, Jaehoon Lee, Kelvin Xu, Aviral Kumar ｜ 2025（会议论文集）

动机

相同计算量并非对每道题都有相同收益。

方法

比较PRM引导搜索与顺序修订，按题目难度和预算选择计算策略。

效果与比较条件

正式论文支持按难度选策略优于统一Best-of-N；本条不搬用摘要4×/14×，未将其完整实验条件压缩成一个通用倍数。

定位：摘要及计算分配实验

局限

收益依赖题目可解性与验证器；极难题增加计算未必有效。这里主要是数学推理证据。

比手动指定预算多了什么

手动预算只设资源上限；本文还选择预算内部的搜索、采样与修订配置。

带着这个问题阅读

难度如何估计，是否使用oracle信息？验证器和难度预测成本是否计入？

Token-Budget-Aware LLM Reasoning

Tingxu Han et al. ｜ 2025-07

动机

固定预算可能过松、过紧，冗余推理增加成本。

方法

TALE-EP先估预算再提示生成；TALE-PT离线搜索预算并用SFT/DPO内化简洁输出。

效果与比较条件

表3，GPT-4o-mini在GSM8K：Vanilla CoT准确率81.35%、318.10输出token；TALE-EP为84.46%、77.26。

同模型、同数据集、论文内协议；输出长度不等同于含预算估计的端到端成本。

定位：PDF表3

局限

主要是文本数学；预算估计仍有开销且软提示不保证严格遵守。表3摘要式说明与均值行有不一致，本条只引用具体任务行。

比手动指定预算多了什么

按题估预算，而非给所有输入同一常数；仍依赖预算提示或相应后训练。

带着这个问题阅读

预算预测额外花费多少？过紧预算为什么反而可能增大输出？

Thinkless: LLM Learns When to Think

Gongfan Fang, Xinyin Ma, Xinchao Wang ｜ 2025（会议论文集）

动机

对简单问题始终长推理浪费资源，训练还会发生模式塌缩。

方法

先建立长短模式；DeGRPO将控制token与回答token的损失分别归一化、调权。

效果与比较条件

表1，R1-Distill-Qwen-1.5B的GSM8K：原模型Pass@1为83.47%、1919 token；Thinkless为84.18%、624 token，长模式使用率13.31%。

包含蒸馏、SFT和RL的整体系统对比，不能归因于路由单一组件。

定位：PDF表1

局限

主要验证小模型数学；MATH-500准确率有损失。长模式使用率下降不等于总成本同比下降。

比手动指定预算多了什么

模型生成控制token决定长短模式，用户无需逐题指定开关；训练仍有权重超参。

带着这个问题阅读

为什么序列长度归一化会削弱长轨迹的控制token梯度？

Efficiently Learning To Reason or Not to Reason: Root-token Policy Optimization for Adaptive Thinking

Taehyeon Kim, Hyunsoo Lee, Youngsoo Jang, Moontae Lee ｜ 2026-07

动机

训练整段长轨迹来学一次模式选择，反向传播成本过高。

方法

自蒸馏构建长短模式；RL只在初始分支token上计算梯度，后续轨迹仅提供奖励。

效果与比较条件

表6，Qwen3-8B在代码/GPQA两任务平均：原模型P@1 54.2%、11117 token；RPO为45.4%、9221 token。此例体现成本与精度取舍。

同模型、同两任务报告口径；并非无损改进。

定位：PDF表6

局限

路由校准和跨域能力仍有限；“2%训练算力”是表5特定8B配置的FLOPs估算，不是同精度实测速率。

比手动指定预算多了什么

学习模式选择概率并可调阈值；控制决策内化于模型，仍有部署校准。

带着这个问题阅读

只对根token算损失，是否意味着只更新一个embedding参数？为什么不是？

MUR: Momentum Uncertainty guided Reasoning for Large Language Models

Hang Yan et al. ｜ 2026-07

动机

每一步都进行test-time scaling会把预算花在容易的步骤。

方法

用步骤token平均负对数概率作为不确定性，以指数动量聚合历史；检测器决定该步是否调用额外scaling，γ调节干预。

效果与比较条件

正式论文报告Qwen3系列、多数学/知识任务上的效率收益；本次未完整核验一个表格行的模型与scaling配置，因此不提供数字。

定位：摘要、方法3.1–3.3；表格提取访问不稳定

局限

需要可用token概率与步骤划分；高置信错误可能漏检，这是机制层面的风险判断。

比手动指定预算多了什么

动态选择哪里追加计算；γ是策略敏感度，并非每题严格token上限，也不是学出的停止策略。

带着这个问题阅读

负对数概率与正确性是什么关系？如何验证信号在分布外仍有效？

SAT: Balancing Reasoning Accuracy and Efficiency with Stepwise Adaptive Thinking

Weiyang Huang et al. ｜ 2026-07

动机

整条链统一压缩可能截断必要的纠错和困难步骤。

方法

轻量PRM估计步骤难度，有限状态机在SLOW/NORMAL/FAST/SKIP间转换，通过提示干预轨迹。

效果与比较条件

表1，Qwen3-4B在MATH500：CoT为95.0%、4823 token；SAT为95.6%、2833 token。

同模型和任务的论文内对比；token数不直接代表包含PRM的墙钟收益，未声称统计显著。

定位：PDF表1

局限

依赖PRM、分步和控制提示；部分任务精度仍下降。SKIP不能简单理解为无风险删除任意推理步骤。

比手动指定预算多了什么

推理途中逐步改变深度，不只在输入前设定一个总token数。

带着这个问题阅读

PRM误判、步骤切分和控制提示的成本如何纳入消融？

LEASH: Adaptive Length Penalty and Reward Shaping for Efficient Large Reasoning Model

Yanhao Li et al. ｜ 2026-07

动机

固定长度惩罚难调，且不随模型训练能力变化。

方法

把平均长度写成约束，原始—对偶优化同时更新策略和惩罚系数；超目标则加强惩罚。

效果与比较条件

表2，R1-Distill-Qwen-1.5B四数学集均值：原模型33.1%、15727 token；4K目标LEASH为33.9%、5873 token。

论文相同评测设置，四任务各32次采样的平均准确率；不是pass@32。

定位：PDF表2

局限

自适应发生于训练惩罚，不等于逐题最优路由；4B的严格预算配置仍掉点，平均约束也非每题硬限额。

比手动指定预算多了什么

目标长度仍由人给定，但对偶变量自动调节，实现约束优化而非固定扣分。

带着这个问题阅读

平均长度约束怎样应对长尾题？如何避免正确难题被长度罚过度压缩？

Timely Machine: Awareness of Time Makes Test-Time Scaling Agentic

Yichuan Ma et al. ｜ 2026-07

动机

工具延迟使相同token数对应不同任务耗时。

方法

将生成和工具时间计入预算，模型获取时间反馈；经时间感知SFT及Timely-RL学习调整推理和交互策略。

效果与比较条件

表3，均从Qwen3-8B出发，在0.75×时间预算的AIME上：仅SFT按时完成率46.7%，Timely-RL为53.3%。

指标是按时完成率，不是正确率；0.75×按论文基准时间定义。

定位：PDF表3

局限

目前是文本任务；多模态可变延迟、多Agent协作尚未解决，预算定义依赖实际部署环境。

比手动指定预算多了什么

控制总墙钟时间并纳入工具等待，不能用一个固定thinking token上限替代。

带着这个问题阅读

若工具延迟分布突变，策略是否还能校准？如何同时评估按时率与正确率？

arXiv 预印本；未核实正式会议接收

首次公开：2026-09-30 ｜ 最新：v1 · 2026-09-30

动机

已有前缀足以给出稳定答案后，继续推理可能只是重复；直接用截短轨迹 SFT 又可能破坏原模型。

方法

在完整轨迹的候选边界强制结束思考并读出答案，标记从此以后答案一直与终点等价的位置；训练原生 </think> 的停止概率，并在其他位置用参考分布正则保留原有生成行为。

效果：保留条件，不只保留数字

Qwen3-4B，MATH-500，16k 上限；3 次训练均值；准确率评估排除 2 道与训练重合的题，token 均值仍覆盖 500 题。

Settle w=0.25、λ=0.2：自然准确率 93.61±0.24%，2355±62 tokens；无正则的 stability-truncated SFT：87.45±2.56%，2345±75 tokens。

近似相同生成成本下高 6.16 个百分点；这是与特定 SFT 基线比较，并非相对基础模型提高 6.16 点。

定位：§3.1、Table 1、Appendix A

关键目标或监督信号

只有从该候选边界起所有后续读出都与终点答案等价才标为稳定；E 是答案等价性，不是正确性。

这些标签来自保存的完整轨迹，未证明对未来策略的所有采样续写成立。

局限

• 稳定标签允许“稳定地答错”，不等价于 correctness reward。
• 离线轨迹上的后续稳定性，不能保证更新后策略的所有后续路径都稳定。
• 正则极其关键；去掉它的版本在文中出现严重退化。

带着什么问题读

• 候选边界如何采样、标签如何定义
• Table 1 的同 token 对比
• 自然结束准确率与强制回答准确率的区别

与已有研究连接的设想（尚未验证）

结合 SimpleOPD / Adaptive KL：在学生自己的前缀上构造停止标签，同时保持非停止 token 的分布；消融固定 KL、动态 KL 和截短 SFT，检查晚期纠错能力是否丢失。

arXiv 预印本；未核实正式会议接收

首次公开：2026-09-17 ｜ 最新：v2 · 2026-09-28

动机

只控制是否思考，或只统一惩罚长度，都难以适应不同题目所需的推理量。

方法

按 epoch 缓存参考模型每题的成功率和平均长度；正确回答才获得效率奖励，容易题的长 Think 轨迹衰减更快。配合 Think/NoThink 探索的重要性采样与跨题目的 advantage 标准化。

效果：保留条件，不只保留数字

R1-Distill-Qwen-1.5B，DeepScaleR 约 4 万题训练；Table 1 为 Pass@3、每条响应平均 token、5 次独立采样运行，非 5 个训练种子。

AIME24：原模型 46.0±2.8% / 14195 tokens，When2Think 56.0±2.8% / 10236 tokens。GSM-Plus：79.4% / 590 → 85.7% / 1052。

AIME24 提升 10 个百分点并减少约 28% token；GSM-Plus 准确率提高但 token 增加，不能概括为处处更省。

定位：§4、§5、Table 1

关键目标或监督信号

易题在同相对长度下奖励衰减更强；长度奖励只给正确回答。

α_i 是模型相对的参考成功率；奖励中 action-independent baseline 与跨题标准化的共同作用，不能简化为“每题 GRPO 减去难度”。

局限

• 参考统计有离线生成成本，且“难度”依赖参考模型。
• 该表是 Pass@3，不等于单次请求成功率。
• 去掉 IS 的消融仍强；IS 的作用包括改变质量—成本工作点，不能把收益全归于探索技巧。

带着什么问题读

• Eq. 4–8 与奖励的基线项
• Table 1 的 Pass@3 口径
• IS 与 BWS 消融

与已有研究连接的设想（尚未验证）

研究 OPD / quantization 后参考统计是否失配：冻结缓存、每 epoch 更新、在线校准三组比较；同时测困难题失败率与总训练 FLOPs。

arXiv 预印本；未核实正式会议接收

首次公开：2026-08-20 ｜ 最新：v2 · 2026-08-21

动机

让模型自行选 NoThink、Short、Long 容易塌缩成单档，或者只输出短模式标签却仍长篇推理。

方法

首 token 选档；训练时给各档不同长度上限与正确奖励折扣，再加入模式平衡项、强制探索预热；组内优势只中心化、不除标准差。

效果：保留条件，不只保留数字

DeepSeek-R1-Distill-Qwen-1.5B，在 MATH 上训练，3 个种子；摘要与附录的 held-out MATH500 结果。

平均准确率 79.6% → 78.2%，响应长度 4796 → 2811 tokens，约减少 41%。

节省成本同时损失 1.4 个百分点；文中另报告训练验证轨迹，不应将其不同基线数值混用。

定位：Abstract、§Experimental Results、Appendix

关键目标或监督信号

不同长度区间偏好不同模式；硬 cap 保证标签和行为关联。

平衡 correction 改变优化信号；不宜声称仍是原始正确性目标的无偏梯度。

局限

• 仅一个 1.5B 模型和数学训练分布；模式上限需随任务重新设定。
• NoThink 在本文是尽快回答，允许少量推理。
• 训练有按模式长度上限，验证自由生成；文中明确指出这使短模式准确率略显乐观。

带着什么问题读

• 奖励曲线与三档交叉点
• 平衡 correction 的适用条件
• 训练 caps 与评估自由生成的差异

与已有研究连接的设想（尚未验证）

用已有 SFT / OPD 初始化替代强制选档预热，测模式塌缩与困难题质量；加入固定档位、按概率随机混档、相同训练预算的统一策略作为公平基线。

arXiv 预印本；未核实正式会议接收

首次公开：2026-06-02 ｜ 最新：v1 · 2026-06-02

动机

逐条自适应采样省总样本，却增加串行轮数；固定大批次并行又容易浪费。

方法

PPO 训练小 MLP，从已有答案计数、总采样数与熵选择停止或追加 1/2/4 条；奖励同时惩罚轮数和样本量，终点奖励模拟完整 32 条采样的多数答案。

效果：保留条件，不只保留数字

控制器在 200 道 DAPO 题训练；AIME24/25、HMMT25 测试；预生成候选池评估；Table 1。

Qwen3-0.6B-Thinking / AIME24：SC@32 为准确率 22.6%、1 轮、32 条；RL-guided 为 22.6±0.06%、5.5 轮、21.9 条。

平均少约 32% 样本，但相对一次并行的 SC@32 需要更多轮；轮数是延迟代理，不能据此宣称实际端到端加速。

定位：§2、§3、Table 1

关键目标或监督信号

选择多采 a 条需要承担轮数和样本数成本。

这是有限预算多数票的代理目标，不是显式优化真实答案正确率；λ 的选择也不保证逐请求延迟约束。

局限

• 终点监督是与 32 条多数答案一致，而非必然与真值一致。
• 小控制器只看分布统计，难识别所有样本共享的系统性错误。
• 真实动态批处理、请求并发和答案聚类开销需另外测量。

带着什么问题读

• 终点 reward 的目标究竟是什么
• Table 1 的 rounds 与 samples
• Appendix 的总 token / 串行 token 指标

与已有研究连接的设想（尚未验证）

把控制器动作拓展为“继续当前路径 / 新开路径 / 调 verifier”；在同一 token 和实测 p95 延迟预算下联合分配深度、宽度与验证。

作者与学校主页列为 Findings of EMNLP 2026；arXiv 仍标 Preprint，本次未核实正式论文集条目

首次公开：2026-01-13 ｜ 最新：v2 · 2026-04-16

动机

一个模型需要支持多个推理预算，而各预算的最优策略不同，直接压缩可能损失长链能力。

方法

先用较大预算 RL 探索，再逐步缩小预算形成多档专家；融合初始化后，多教师 on-policy 蒸馏为一个按模式提示运行的模型。

效果：保留条件，不只保留数字

Qwen3-4B-2507-Thinking，Polaris-53K 训练；AIME24 使用 avg@32；Table 1。

基础模型 AIME24 81.6% / 20.1k tokens；ORBIT xhigh 82.6% / 15.5k tokens。

约省 23% token，准确率高 1 个百分点；不能将 token 比例直接转成实际速度，且训练成本不同。

定位：§Method、Table 1

局限

• 需要多阶段长推理 RL 与多个专家，离线成本不可忽略。
• 用户或系统仍须选择档位；有四档并不自动说明会按题选档。
• 重点是可验证任务，多档能力不保证跨域自主分配最优。

带着什么问题读

• 预算逐步压缩的课程
• 多教师 OPD 如何选择教师
• 模式融合与自主路由的区别

与已有研究连接的设想（尚未验证）

直接连接用户的 Model Interpolation 与 SimpleOPD：比较融合初始化、单教师/多教师 OPD，再单独训练题目级 router；分开报告能力底座和路由增益。

ICLR 2026 正式会议论文；已核实 proceedings

ICLR 2026 正式论文集版本。本次未定位到可核实的 arXiv 条目，因此不填写首次 / 最新 arXiv 日期；官方作者页面标注 April 2026。

动机

开始生成前判断是否值得思考，避免为了预测难度先花一大段推理。

方法

以多次非思考回答经标准答案/verifier 判定的正确比例作为 SC 标签，训练两层 MLP 从 prefill 最后一层、最后一个 token 特征预测分数；Algorithm 2 在预测分数大于阈值时选择 NoThink，否则选择 Think。

效果：保留条件，不只保留数字

Qwen3-8B，1000 道 OpenMathReasoning 校准题，每题离线 32 次非思考采样；Pass@1，temperature 0.6 / top_p 0.95。

正式版 Table 1 / GSM8K：95.2% / 1994 thinking tokens → 95.6% / 890。Table 2 / MATH500：B200、batch 1，平均延迟 32.1s → 23.5s。

一个明确任务上的质量—成本点与实际延迟点；两项来自不同数据集，不能拼成同一实验结果。

定位：Algorithm 2、Table 1、Table 2

局限

• 预测器依赖特定基础模型；蒸馏、量化或换域后需重新检查校准。
• 公开版本存在数字表述差异：作者网页写 20–80% / up to 5%，正式摘要写 20–60% / up to 2%；正式正文的部分均值叙述也与 Table 1 不一致，引用具体表格单元格最稳妥。
• Algorithm 2 主要是二元选档；不能仅凭标题称其支持任意连续预算。

带着什么问题读

• Algorithm 2：实际动作是二元选择
• Table 1 的具体任务而非摘要范围
• Table 2 的 batch / GPU 测量条件

与已有研究连接的设想（尚未验证）

将量化前后 hidden-state 校准误差、路由错误与最终准确率联动分析；比较只重校准小 MLP 与重训主模型，得到部署成本更低的方案。

同一道题对不同模型、不同模式和量化精度的可解性不同。要预测的是多算一点的收益，而不只是题目看起来有多难。改写、短难题与长易题是必要的校准测试。

概率、熵、一致性和中间答案稳定性都是代理信号。高置信错误可能过早停止，低置信正确可能被浪费计算；策略需要跨域和失败类型评估。

一次选模与几千个响应 token 同时学习，可能出现信号失衡。只训练控制损失又可能限制响应质量的共同改进。需拆开模式选择、停止与内容优化的贡献。

token、FLOPs、墙钟耗时和并发吞吐各不相同。必须计入 router、PRM、额外采样、教师与工具成本；训练更贵的策略要在足够调用次数下才可能收回成本。

平均长度下降可能来自困难题被更早放弃。质量约束、hard/OOD 切片、截断率和 p95 延迟应共同报告；不把 oracle Pass@k 当成用户实际拿到答案的正确率。

这是适合继续探索的研究问题：蒸馏初始化是否改善后续预算策略学习？量化改变概率校准后是否需要重新训练或校准路由？已有论文能提供动机，但不能代替组合方法的实验。