RUNMING YANG / 杨润明

Paper to practice / Adaptive thinking

先判断值不值得想,
再决定如何分配计算。

精读 Sonata 的隐藏状态路由器,再看产品中真正公开的模式开关、思考强度、预算与工具交互。

核验截至 2026-10-14Sonata · ICLR 20265 家产品 / 平台
读懂 Sonata查看产品比较连接 CoT 与 OPD
01

Sonata:用隐藏状态预测是否需要展开思考

Adaptive Thinking: Large Language Models Know When to Think in Latent Space 的主方法是在生成前读取模型内部表征,用小预测器选择 thinking 或 non-thinking。标题中的 latent space 是路由特征所在空间。

输入 + chat template→prefill 末位置隐藏状态 h→小 MLP 预测分数 ŝ→高分直接答 / 低分展开思考

ICLR 2026 正式会议论文;Apple 与 UNC 作者的研究成果

离线:构造“无需思考能否答对”的标签

每个模型用 1,000 道可判分数学题,每题采样 32 次 non-thinking 回答,以正确比例作为 SC 标签;使用标准答案,并由 verifier 判分。

训练:读取隐藏表征,拟合小预测器

带 chat template 的输入完成 prefill 后,取末位置、最后层的隐藏向量。两层 MLP(d→64→1,GELU、sigmoid)通过 MSE 预测 SC,基础模型保持不变。

线上:只做一次思考开关决策

主实验预测分数大于 0.3 时直接回答,否则启用原模型的 thinking。无需在线重采 32 次;预测器复用 prefill 表征。主算法不在生成中反复早停。

扩展:多档预算与早停组合

附录尝试四档预算,另与 REFRAIN 早停器组合;它们与主表的二元开关要分开看。

SC(q) = 正确的无思考回答数 / 32 ŝ = MLP(h),L = mean[(ŝ − SC)²] ŝ > 0.3 → non-thinking;否则 → thinking

依据:正式 PDF §3–4、Algorithm 1–2 与实验设置。

查看正式论文

教学例子:若 32 次无思考回答全都一致地答错,按论文训练公式标签仍然是 0;因此这里不是“答案越一致,分数越高”的无标签多数投票。线上没有标准答案,使用的是预测分数。

标题的边界:启用思考后仍使用基础模型原有的推理流程。论文没有把完整 CoT 替换成连续隐空间循环,也没有提供 Apple Intelligence 已部署 Sonata 的证据。

02

看两条具体结果,而不是只记一个降幅

Qwen3-8B BF16默认 thinking → Sonata思考 token平均延迟
GPQA(论文未在主实验处进一步指定具体 split)60.1% → 62.0% pass@17,458 → 3,590该任务未单独报告
MATH-50097.6% → 97.4% pass@14,900 → 3,69432.1 → 23.5 秒

Tables 1–2:质量实验 temperature=0.6、top-p=0.95;MATH-500 延迟在 1×NVIDIA B200、batch=1、vLLM 下测量。MATH-500 正确率略降;GPQA 上升不代表所有任务都上升。

原始表格与实验条件
读论文时发现的版本与统计口径差异

Apple 作者页与 ICLR 正式摘要的概括数字不同;主表和部分附录使用的平均任务集合也不同。此页采用正式论文集 PDF 的单项任务结果,不把不同版本的最优数字拼接。

主表和种子列表支持三次试验;正文有一处写成四次。主表未给置信区间,因此小幅准确率变化不能自动称为统计显著。thinking tokens 也不是全部 token、总 FLOPs 或线上费用。

03

从读懂算法到提出研究问题

以下为基于论文机制的分析与实验建议,不是论文已经证明的结果。

低快答正确率,不一定值得多想

一道题在快答下不会做,长推理下也可能不会做。更直接的路由目标是额外计算能带来多少收益,且这个收益是否足以抵偿成本。

Δ(q) = P(correct | think, q) − P(correct | fast, q) 当 Δ(q) > λ · Δcost(q) 时,选择更多计算

这是决策分析式,不是 Sonata 训练目标。现实中两个概率都需要估计和校准。

开始前的判断与过程中的判断互补

prefill 路由能快速筛选简单题;继续推理后,工具反馈、矛盾或答案稳定性可能改变是否继续的价值。可以比较“只有初始路由”“只有早停”“两者结合”。

算清校准成本和部署回本

离线标签生成、预测器训练与线上开销都要计入。工程实现应复用已有 prefill 状态;如果读取 hidden 后重新执行整段 prefill,理论上的小开销不会自然成立。

KV cache 复用是工程建议,不能写成已检查过作者的部署代码。

蒸馏会改变路由器面对的学生

OPD、量化或后续 RL 会改变模型能力与概率分布。值得检查旧预测器能否继续校准,还是需要重新收集标签;这提供了你已有工作与 adaptive thinking 的连接点。

最小实验:先验证路由收益,再扩展算法
  1. 固定模型 revision、模板、隐藏状态提取点;独立划分校准、开发与测试集。
  2. 比较 always-think、always-nonthink、固定预算、训练过的路由器;用开发集调阈值。
  3. 记录快答误判、困难题正确率、thinking/answer token、端到端延迟与 p95;单独报告离线校准成本。
  4. 先画质量—成本曲线,再尝试边际收益预测、过程早停或 OPD 后重校准。改变一个变量,保留可信基线。
04

产品到底公开了哪些控制?

“高级做法”包含多个层次:用户选 effort、模型在允许的范围内决定是否/多久思考、工具之间继续思考、保留历史轨迹,以及系统分配模型或并行任务。它们可以组合,不能全部归结为“一条 CoT 更长”。

阅读口径:下表是截至核验日的官方接口和功能说明,不是效果排名,也没有对付费模型做统一实测。公开控制能力可以确认;未披露的网络结构、数据比例、奖励和路由算法保持未知。

产品 / 接口公开的控制层主要参数最易混淆的地方
OpenAI API模型内动态投入 + 外部 efforteffort;总输出 cap 另设有档位不等于固定 token;训练机制未披露
ChatGPT Work / Codex模型、effort 与并行 agent 编排Power / Advanced / Max / UltraUltra 不只是加长单条思维链;不外推至 Chat
Claude API按请求选择是否及多深思考,可与工具交错adaptive + effort;max_tokens 兜底默认启用 adaptive 不等于每题必有思考块
Gemini API按复杂度动态投入level;旧 API 的 2.5 budget;总输出 cap旧数值 budget 可能超/欠;区分 API 版本
DeepSeek API模式开关 + effort 档位thinking / reasoning.effort部分别名映射到同一档;自动路由未由此证明
Qwen / Model Studio支持型号的混合思考与长度控制enable_thinking / thinking_budget历史思考保留是独立的上下文控制
OpenAI · Responses API:以 GPT-6.1 Sol 为当前具体实例

具体范围:gpt-6.1-sol;GPT-5.4 / GPT-5.5 仅作官方 interleaved thinking 文档的明确例子

公开行为

  • reasoning.effort 给模型思考程度的指导;官方说明各 effort 下仍会按任务难度自适应,简单任务用较少推理 token,复杂任务投入更多。
  • GPT-5.6 和 GPT-6 的 standard/pro 执行模式与 effort 是独立维度;pro 会投入更多模型工作,不能直接等同单条思维链变长。

控制接口与预算

  • gpt-6.1-sol:low、medium(默认)、high、xhigh、max;不支持 none/minimal。
  • max_output_tokens 限制总生成量,包含隐藏推理、可见回答和格式 token;达到上限可能 incomplete,甚至还没有可见答案。
  • GPT-6 标准单 agent 模式支持跨回复更改 effort;这是调用方的显式调整,不能称为模型自己学到的跨轮路由。

需要保留的区别

  • 推理 token 不直接可见,但会占上下文并计费;返回的 reasoning summary 不能当完整原始 CoT。
  • 官方以 GPT-5.4/5.5 为例明确支持可见输出、思考与工具调用交错;工具返回后可以继续思考。

公开证据的边界

  • 这些文档未披露自适应长度的训练目标、奖励函数、难度估计器、停止策略、搜索树或每档固定计算预算。
  • effort 是公开行为控制,不能据此断言采用某篇 adaptive-thinking 论文的方法;pro 的内部工作组合也未由此页面完整披露。

研究启发(推论)

  • 研究启发(推论):固定模型与 effort 后,仍应测量不同难度下的计算分配;effort 与实际 token 消耗是不同变量。
  • 面试比较要同时报告质量、推理 token、可见输出 token、延迟、工具调用和截断率;不要用回答篇幅代替思考量。
OpenAI · ChatGPT Work / Codex 产品层

具体范围:gpt-6.1-sol;gpt-6-astra;gpt-6-luna;实际可用性依计划、客户端与 rollout

公开行为

  • 当前 ChatGPT Learn 明确记录:用户在模型/推理控件中选择模型与 effort;Power 预设可同时改变所选模型和 effort。
  • Max 增加所选模型的思考投入;Ultra 会使用 subagents 并行分解任务,属于编排层变化。

控制接口与预算

  • Light/Medium/High/Extra High 等产品档位必须绑定具体模型理解,代际间不保证等价。
  • Advanced 可分别选择模型、effort 与 speed;不能把一个 UI 滑块视为单一推理长度旋钮。
  • GPT-6.1 Sol、GPT-6 Sol 与 GPT-6 Luna 在该文档中限定为 Work/Codex,不能泛化到 Chat。

需要保留的区别

  • 用户控制、模型自身的动态长度分配、并行 agent 编排属于不同层次。

公开证据的边界

  • 本次许可域内已打开的当前文档未建立 Chat 模式是否仍采用早期 GPT-5 式快/慢模型自动路由;未核实不等于不存在。
  • 文档中的产品档位不是训练架构证据,不能由 Ultra 或 Power 名称推断 CoT、RL 或 router 算法。

研究启发(推论)

  • 研究启发(推论):先分清 model routing、effort conditioning 和 agent orchestration,再谈计算量自适应。
  • 面试可说:自动选模型解决选谁,模型动态思考解决已选模型投入多少;两者可以并存但不能混称。该概念区分不代表当前 Chat 已证实存在某种 router。
Anthropic · Claude API:adaptive thinking + effort

具体范围:claude-opus-5-5;claude-sonnet-5-5;claude-haiku-5-5;Claude Opus/Sonnet 4.6 作为兼容性对照

公开行为

  • adaptive thinking 允许模型逐请求决定是否需要显式思考块以及思考深度;effort 是主要行为信号,也可受提示引导。
  • 自动与工具使用交错:模型可以在工具结果之后继续思考,无需另加 interleaved beta 配置。
  • 开启 adaptive 模式与每次一定产生思考块不同;低 effort 的简单输入可跳过思考。

控制接口与预算

  • Opus 5.5、Sonnet 5.5、Haiku 5.5 均支持 low/medium/high/xhigh/max;Opus/Haiku 5.5 默认 medium,Sonnet 5.5 默认 high。
  • Opus 5.5 不能关闭 adaptive;Sonnet 5.5 在 high 及以下可用 between_tools 关掉开头思考;Haiku 5.5 在 high 及以下可 disabled。勿泛化全家族。
  • effort 影响整条输出,包括思考、回答和工具调用,不是仅限制思考 token。
  • max_tokens 是每请求思考加回答的硬上限;effort 不保证 token 数,也不限制整个多请求工具循环的总成本。

需要保留的区别

  • Opus/Sonnet 4.6 支持但弃用旧 enabled+budget_tokens;其 adaptive 需显式开启。5.5 各型号默认启用 adaptive,旧手动预算模式不受支持。
  • 公开 thinking 文本为摘要;display 是否展示不改变已经生成的推理 token 计费。

公开证据的边界

  • 官方行为文档未披露做出 think/skip/stop 决策所用的训练数据、奖励或实现算法。
  • 不能把默认启用 adaptive 理解成每个请求强制生成固定长度的 CoT;也不能把相同 effort 名称当跨模型等算力。

研究启发(推论)

  • 研究启发(推论):把是否思考、思考多深、是否调用工具拆成可观测维度;关注模型能否把算力从容易样本转给困难样本。
  • 后训练面试切入:effort 条件化策略与长度惩罚是否会伤害困难样本,需通过分难度质量—成本曲线回答,而非用省 token 总量回答。
Google · Gemini API:dynamic thinking、thinking level 与旧数值 budget

具体范围:gemini-4-argon;gemini-3.8-flash;gemini-3.1-pro-preview;Gemini 2.5 Pro / Flash(Legacy GenerateContent 对照)

公开行为

  • 官方说明 dynamic thinking 根据请求复杂度调整推理投入;level 控制思考倾向/相对额度,不是每次固定生成数。
  • API 面需区分:当前 Interactions 用 thinking_level;Legacy GenerateContent 用 thinkingLevel,Gemini 2.5 在该旧 API 面使用 thinkingBudget。

控制接口与预算

  • 当前表中 Gemini 4 Argon 与 3.8 Flash 为 low/medium/high、默认 medium;3.1 Pro Preview 默认 high。不能用旧 Gemini 3 总述泛化新型号默认值。
  • Legacy GenerateContent 的 Gemini 2.5 Pro/Flash 默认 dynamic,thinkingBudget=-1;Flash 可用 0 关闭,Pro 不可。2.5 Flash-Lite 默认不思考。
  • 该旧数值 budget 是指导值,官方明确可能超出或低于;Gemini 4 中已弃用且映射至最近 level。
  • max_output_tokens 是基础设施执行的总生成硬截断,含思考;设小会导致截断/空输出,不能替代降低 thinking level。

需要保留的区别

  • Gemini 3 文档明确 level 是相对思考额度;minimal 也不保证完全没有思考。
  • thought signatures 保存加密推理状态,供多轮/工具流程保持连续性;摘要和签名不等于可见完整原始推理。
  • 工具结果可进入后续推理;本次未将其直接断言为与其他厂家完全相同的交错实现。

公开证据的边界

  • 文档未说明动态分配的训练奖励、在线难度估计、停止器或搜索实现。
  • 不能把 level、旧 thinkingBudget 与硬输出上限混为同一种 budget;也不能把当前 Interactions 与 Legacy GenerateContent 的字段/默认值混写。
  • 这些是 API 文档结论,不能据此断言 Gemini 消费者 App 的 UI 自动选择策略。

研究启发(推论)

  • 研究启发(推论):控制预算前必须明确是条件化目标还是强制截断;两者会造成不同的质量损失和未完成率。
  • 评测除平均成本外,要按题目难度检查是否过度/不足思考,并记录是否在产生最终答案前耗尽硬上限。
DeepSeek API

当前 Thinking Mode 指南及 Responses API;指南示例 deepseek-flash

控制接口

Chat Completions 用 thinking.type 开关和 reasoning_effort;Responses 用 reasoning.effort=none/low/high/max。

预算语义

effort 是档位;max_output_tokens 才是包含推理和最终答案的输出上限。兼容档位可能映射到同一实际档位。

公开行为

支持同一接口切换思考模式与强度。默认启用思考,指南默认 effort 为 high;这不能证明每个请求都有独立的难度路由器。

多轮与工具上下文

工具请求要回传历史 reasoning_content;普通无工具对话则不会拼接历史思考。轨迹保留规则与思考强度是不同问题。

公开证据的边界

接口没有公开足以复现当前模型路由器、停止策略或 CoT 数据配方的细节。

研究启发(推论)

测评应记录实际映射后的档位、工具上下文和输出上限,避免以为不同参数名一定产生不同计算量。

Qwen / 阿里云 Model Studio

官方文档更新于 2026-10-11;qwen3.8-max、qwen3.8-flash 等支持的混合思考型号

控制接口

enable_thinking 控制是否思考;thinking_budget 控制思考 token 上限。型号的默认值和支持能力须分别检查。

预算语义

文档将 thinking_budget 描述为上限,到达后转入答案生成;不能把它当作模型自动找到最优预算的证据。

公开行为

对支持的混合模式型号,服务提供模式与预算控制。思考专用型号和混合型号不能混为一谈。

多轮与工具上下文

部分型号的 preserve_thinking 可读取客户端回传的历史思考,并计入新一轮输入;这是上下文复用。

公开证据的边界

这些产品参数没有披露当前型号的完整训练方法;不能从旧版 Qwen3 报告反推 Qwen3.8 的数据与算法。

研究启发(推论)

将是否思考、思考长度与历史轨迹保留拆成三个实验因素;分别记录答案质量、延迟和上下文成本。

05

对模型训练岗位,最值得带走的四个问题

① 怎样学到可控的策略?

不是只让界面多一个按钮,而是让模型在不同预算下稳定工作。数据要覆盖模式与预算,评估要检查质量随预算变化是否合理、短预算是否出现无效截断。

② 模型能否自己判断何时需要更多计算?

区分人为固定档位、一次性路由、生成中调整。可研究收益预测、校准、停止信号与难度泛化;不能因为 API 接受 high 就认定模型用了某种 router。

③ 多轮、工具和上下文怎样改变预算?

工具成功或失败后可能需要重新规划;历史思考可能帮助连续任务,也增加输入成本和旧错误的影响。要测工具成功率、回合数、墙钟时间及上下文增长。

④ CoT 数据最终要教会哪些行为?

除了求解步骤,还包括切换模式、调用工具、利用反馈、修正前缀与结束。OPD 可以在学生实际轨迹上提供监督,但是否学会这些行为仍需要切片实验。

进入 CoT × OPD 实验设计

这些问题是从公开产品约束推导出的研究建议,不是对京东或其他公司内部题目与算法的断言。

06

原始资料

Reasoning models

核验:2026-10-14

effort 下仍按复杂度动态分配;pro 与 effort 独立;推理 token 不可见;总输出硬限制;特定模型的交错思考与显式跨轮设置。

GPT-6.1 Sol Model

核验:2026-10-14

具体模型支持的 effort 集合与默认值;不能把 none/minimal 支持从旧型号外推。

Models | ChatGPT Learn

核验:2026-10-14

Work/Codex 模型与 effort 控制;Power 组合预设;Max 与 Ultra 的区别;产品访问边界。

Thinking

核验:2026-10-14

逐模型 adaptive 默认值及关闭限制;旧 manual 与新 adaptive 的区别;摘要展示语义。

Effort

核验:2026-10-14

effort 是行为信号而非严格 token 预算,影响所有输出与工具调用;具体 5.5 型号 effort 默认值。

Steering thinking

核验:2026-10-14

逐请求决定是否及多深思考、自动与工具交错;max_tokens 为每请求硬限制,effort 为软指导。

Gemini thinking | Gemini API

核验:2026-10-14

Interactions API 的当前型号 level 表;动态思考;总输出基础设施硬截断;推理状态与摘要。

Gemini 3 developer guide

核验:2026-10-14

针对其表中 3.1 Pro/3 Flash/3.1 Flash-Lite,level 是相对额度,minimal 非完全关闭;勿把旧表默认泛化到 3.8/4。