低快答正确率,不一定值得多想
一道题在快答下不会做,长推理下也可能不会做。更直接的路由目标是额外计算能带来多少收益,且这个收益是否足以抵偿成本。
这是决策分析式,不是 Sonata 训练目标。现实中两个概率都需要估计和校准。
Paper to practice / Adaptive thinking
精读 Sonata 的隐藏状态路由器,再看产品中真正公开的模式开关、思考强度、预算与工具交互。
Adaptive Thinking: Large Language Models Know When to Think in Latent Space 的主方法是在生成前读取模型内部表征,用小预测器选择 thinking 或 non-thinking。标题中的 latent space 是路由特征所在空间。
ICLR 2026 正式会议论文;Apple 与 UNC 作者的研究成果
每个模型用 1,000 道可判分数学题,每题采样 32 次 non-thinking 回答,以正确比例作为 SC 标签;使用标准答案,并由 verifier 判分。
带 chat template 的输入完成 prefill 后,取末位置、最后层的隐藏向量。两层 MLP(d→64→1,GELU、sigmoid)通过 MSE 预测 SC,基础模型保持不变。
主实验预测分数大于 0.3 时直接回答,否则启用原模型的 thinking。无需在线重采 32 次;预测器复用 prefill 表征。主算法不在生成中反复早停。
附录尝试四档预算,另与 REFRAIN 早停器组合;它们与主表的二元开关要分开看。
依据:正式 PDF §3–4、Algorithm 1–2 与实验设置。
查看正式论文教学例子:若 32 次无思考回答全都一致地答错,按论文训练公式标签仍然是 0;因此这里不是“答案越一致,分数越高”的无标签多数投票。线上没有标准答案,使用的是预测分数。
标题的边界:启用思考后仍使用基础模型原有的推理流程。论文没有把完整 CoT 替换成连续隐空间循环,也没有提供 Apple Intelligence 已部署 Sonata 的证据。
| Qwen3-8B BF16 | 默认 thinking → Sonata | 思考 token | 平均延迟 |
|---|---|---|---|
| GPQA(论文未在主实验处进一步指定具体 split) | 60.1% → 62.0% pass@1 | 7,458 → 3,590 | 该任务未单独报告 |
| MATH-500 | 97.6% → 97.4% pass@1 | 4,900 → 3,694 | 32.1 → 23.5 秒 |
Tables 1–2:质量实验 temperature=0.6、top-p=0.95;MATH-500 延迟在 1×NVIDIA B200、batch=1、vLLM 下测量。MATH-500 正确率略降;GPQA 上升不代表所有任务都上升。
原始表格与实验条件以下为基于论文机制的分析与实验建议,不是论文已经证明的结果。
一道题在快答下不会做,长推理下也可能不会做。更直接的路由目标是额外计算能带来多少收益,且这个收益是否足以抵偿成本。
这是决策分析式,不是 Sonata 训练目标。现实中两个概率都需要估计和校准。
prefill 路由能快速筛选简单题;继续推理后,工具反馈、矛盾或答案稳定性可能改变是否继续的价值。可以比较“只有初始路由”“只有早停”“两者结合”。
离线标签生成、预测器训练与线上开销都要计入。工程实现应复用已有 prefill 状态;如果读取 hidden 后重新执行整段 prefill,理论上的小开销不会自然成立。
KV cache 复用是工程建议,不能写成已检查过作者的部署代码。
OPD、量化或后续 RL 会改变模型能力与概率分布。值得检查旧预测器能否继续校准,还是需要重新收集标签;这提供了你已有工作与 adaptive thinking 的连接点。
“高级做法”包含多个层次:用户选 effort、模型在允许的范围内决定是否/多久思考、工具之间继续思考、保留历史轨迹,以及系统分配模型或并行任务。它们可以组合,不能全部归结为“一条 CoT 更长”。
阅读口径:下表是截至核验日的官方接口和功能说明,不是效果排名,也没有对付费模型做统一实测。公开控制能力可以确认;未披露的网络结构、数据比例、奖励和路由算法保持未知。
| 产品 / 接口 | 公开的控制层 | 主要参数 | 最易混淆的地方 |
|---|---|---|---|
| OpenAI API | 模型内动态投入 + 外部 effort | effort;总输出 cap 另设 | 有档位不等于固定 token;训练机制未披露 |
| ChatGPT Work / Codex | 模型、effort 与并行 agent 编排 | Power / Advanced / Max / Ultra | Ultra 不只是加长单条思维链;不外推至 Chat |
| Claude API | 按请求选择是否及多深思考,可与工具交错 | adaptive + effort;max_tokens 兜底 | 默认启用 adaptive 不等于每题必有思考块 |
| Gemini API | 按复杂度动态投入 | level;旧 API 的 2.5 budget;总输出 cap | 旧数值 budget 可能超/欠;区分 API 版本 |
| DeepSeek API | 模式开关 + effort 档位 | thinking / reasoning.effort | 部分别名映射到同一档;自动路由未由此证明 |
| Qwen / Model Studio | 支持型号的混合思考与长度控制 | enable_thinking / thinking_budget | 历史思考保留是独立的上下文控制 |
具体范围:gpt-6.1-sol;GPT-5.4 / GPT-5.5 仅作官方 interleaved thinking 文档的明确例子
具体范围:gpt-6.1-sol;gpt-6-astra;gpt-6-luna;实际可用性依计划、客户端与 rollout
具体范围:claude-opus-5-5;claude-sonnet-5-5;claude-haiku-5-5;Claude Opus/Sonnet 4.6 作为兼容性对照
具体范围:gemini-4-argon;gemini-3.8-flash;gemini-3.1-pro-preview;Gemini 2.5 Pro / Flash(Legacy GenerateContent 对照)
当前 Thinking Mode 指南及 Responses API;指南示例 deepseek-flash
Chat Completions 用 thinking.type 开关和 reasoning_effort;Responses 用 reasoning.effort=none/low/high/max。
effort 是档位;max_output_tokens 才是包含推理和最终答案的输出上限。兼容档位可能映射到同一实际档位。
支持同一接口切换思考模式与强度。默认启用思考,指南默认 effort 为 high;这不能证明每个请求都有独立的难度路由器。
工具请求要回传历史 reasoning_content;普通无工具对话则不会拼接历史思考。轨迹保留规则与思考强度是不同问题。
接口没有公开足以复现当前模型路由器、停止策略或 CoT 数据配方的细节。
测评应记录实际映射后的档位、工具上下文和输出上限,避免以为不同参数名一定产生不同计算量。
官方文档更新于 2026-10-11;qwen3.8-max、qwen3.8-flash 等支持的混合思考型号
enable_thinking 控制是否思考;thinking_budget 控制思考 token 上限。型号的默认值和支持能力须分别检查。
文档将 thinking_budget 描述为上限,到达后转入答案生成;不能把它当作模型自动找到最优预算的证据。
对支持的混合模式型号,服务提供模式与预算控制。思考专用型号和混合型号不能混为一谈。
部分型号的 preserve_thinking 可读取客户端回传的历史思考,并计入新一轮输入;这是上下文复用。
这些产品参数没有披露当前型号的完整训练方法;不能从旧版 Qwen3 报告反推 Qwen3.8 的数据与算法。
将是否思考、思考长度与历史轨迹保留拆成三个实验因素;分别记录答案质量、延迟和上下文成本。
不是只让界面多一个按钮,而是让模型在不同预算下稳定工作。数据要覆盖模式与预算,评估要检查质量随预算变化是否合理、短预算是否出现无效截断。
区分人为固定档位、一次性路由、生成中调整。可研究收益预测、校准、停止信号与难度泛化;不能因为 API 接受 high 就认定模型用了某种 router。
工具成功或失败后可能需要重新规划;历史思考可能帮助连续任务,也增加输入成本和旧错误的影响。要测工具成功率、回合数、墙钟时间及上下文增长。
除了求解步骤,还包括切换模式、调用工具、利用反馈、修正前缀与结束。OPD 可以在学生实际轨迹上提供监督,但是否学会这些行为仍需要切片实验。
进入 CoT × OPD 实验设计这些问题是从公开产品约束推导出的研究建议,不是对京东或其他公司内部题目与算法的断言。
没有匹配资料,请换一个关键词。
方法、算法、表格和附录的主依据
核对正式发表状态及正式摘要
作者与研究归属;摘要数字和实验范围与正式版本不同
effort 下仍按复杂度动态分配;pro 与 effort 独立;推理 token 不可见;总输出硬限制;特定模型的交错思考与显式跨轮设置。
具体模型支持的 effort 集合与默认值;不能把 none/minimal 支持从旧型号外推。
Work/Codex 模型与 effort 控制;Power 组合预设;Max 与 Ultra 的区别;产品访问边界。
逐模型 adaptive 默认值及关闭限制;旧 manual 与新 adaptive 的区别;摘要展示语义。
effort 是行为信号而非严格 token 预算,影响所有输出与工具调用;具体 5.5 型号 effort 默认值。
逐请求决定是否及多深思考、自动与工具交错;max_tokens 为每请求硬限制,effort 为软指导。
Interactions API 的当前型号 level 表;动态思考;总输出基础设施硬截断;推理状态与摘要。
旧 API Gemini 2.5 的 dynamic/关闭默认;数值预算可能 overflow/underflow;Gemini 4 数值 budget 弃用;工具与推理上下文。
针对其表中 3.1 Pro/3 Flash/3.1 Flash-Lite,level 是相对额度,minimal 非完全关闭;勿把旧表默认泛化到 3.8/4。
模式、档位映射与多轮工具上下文;2026-10-14 核验。
reasoning.effort 与 max_output_tokens 的不同作用;2026-10-14 核验。
文档更新时间 2026-10-11;模式、thinking_budget、preserve_thinking;2026-10-14 核验。