CoT 数据 × OPD
10 项关键文献与 2 项工业训练报告，解释学生轨迹监督、初始化、停止行为和后续 RL；附在研项目的 90 秒 / 10 分钟汇报框架。
01
先准备一条能讲清的研究主线
我的主线：从教师监督与学生蒸馏出发，研究模型如何通过后训练获得更有效的推理策略，并把质量、计算成本和实际部署放到同一个评价框架里。
这是根据已确认经历整理的讲述建议。岗位、团队和面试时间尚未确定；先按大模型训练／后训练研究实习准备，取得具体 JD 后再调整。
Sonata 与产品中的思考控制
看懂 latent space 路由的训练信号，并比较 OpenAI、Claude、Gemini、DeepSeek、Qwen 公开的思考模式、预算与工具交互。
讲清“监督从哪里来”
SFT、蒸馏与 RL 分别改变什么；OPD 的轨迹来源与 KL 方向如何拆开；为什么蒸馏后的分数不一定预测后续 RL 收益。
讲清“为什么、何时、思考多久”
从可控 thinking mode 走向按题分配预算；设计正确性与成本奖励，分析过度思考、过早停止以及困难题退化。
把腾讯实习讲成一个闭环
腾讯 AI Lab 信安科研实习（QQ 内容审核）：图文数据合成 → 后训练与测评 → 分级部署与加速 → 内部风控上线。说明吞吐和误杀率的比较条件，再讲本人承担的模块及失败实验。
用轻量化形成第二层优势
训练岗先深入两篇最熟悉的工作；再用量化、大小模型协作解释部署约束。涉及 RL infra 时，补齐 rollout、批处理、显存和训练／推理策略滞后的分析。
把经历准备成 90 秒开场 + 两个 10 分钟研究故事
90 秒建议顺序：港大博士研究背景（15 秒）→ 蒸馏／后训练中最熟悉的一个问题与本人贡献（35 秒）→ 腾讯部署经验（25 秒）→ 希望研究自适应推理的原因（15 秒）。用自己能核实的事实替换具体成果描述。
- 每篇主讲论文：动机、最接近的基线、关键公式、个人分工、一张核心实验、一个失败案例、局限与下一步；分别练习 2 分钟和 10 分钟版本。
- 实习指标：误杀率使用什么分母，是否在相同召回率下比较；吞吐在什么硬件、并发、输入长度和质量约束下测量；线上效果是否受流量或数据分布变化影响。
- 科研产出：可确认有两篇论文与一项公司专利；补齐自己能公开的对应关系与贡献。未经确认，不把专利写成已授权，也不补造指标。
- 当前 CoT 合作：港大博士阶段与其他团队合作，稿件准备中。面试可讲已完成的真实探索、待验证假设和下一步；下方的 adaptive thinking 实验方案仅为练习，不是已有项目成果。
02
TGT 岗位与申请信息
TGT 是京东的顶尖青年技术人才专项。以下信息区分校招与实习；匹配建议是根据你的研究经历作出的判断。
京东官方当前设置TGT校招与TGT实习两条项目。
[1]2027秋招材料给出的TGT校招毕业窗口为2024-10-01至2027-09-30，TGT实习毕业时间为2026年10月及以后，面向海内外本硕博。
高校转载口径；投递时以京东当期项目页面与岗位资格校验为准。
[2]与训练、后训练和效率研究相关的 5 个职位
优先查看实习课题，再用预计毕业时间判断校招资格。职位详情在核验日可公开读取；这不等于仍有名额。若深链接失效，可在官方入口按完整题名搜索。
面向电商大模型预训练与后训练的探索研究
基于电商大模型的Mid-train及RL研究
大模型训练与RL infra创新探索研究
大模型高效推理与端云协同架构研发
基础大语言模型
申请路径与需要确认的信息
- 打开京东校园招聘官网，进入招聘职位。
- 选择TGT-顶尖青年技术天才计划或TGT-顶尖青年技术实习生。
- 优先搜索中期训练、后训练、RL、基础大语言模型、AI Infra、推理等关键词。
- 逐岗核对毕业时间、在校身份、地点、实习时长及到岗条件，再完善并投递简历。
核验到的职位标注远程面试。尚无充分官方依据确认统一轮数、固定题型、统一论文数量或薪资门槛。与招聘方确认：具体课题与导师、校招还是实习、预计毕业与到岗要求、面试形式、是否安排代码或研究报告。
本次抽查的TGT岗位没有直接出现adaptive thinking mode这一名称。宜转写为按任务难度分配推理预算、推理质量—token/时延权衡、奖励设计与多步决策；这是个人研究定位，不能声称是京东官方岗位命名。
[4][5][9]03
面试经验：先看它适用于谁
本轮未核验到正文可读、身份明确的 TGT 本人技术面经。保留5篇公开个人自述作低一级参考：3篇较贴近LLM训练/算法，2篇偏RAG/Agent应用。公开自述不等于事实获官方确认；不能据此推定TGT固定轮次、必考题、通过率或薪资。
官方招聘：核对资格与课题个人面经：了解追问方式原创练习：训练自己的回答
6.16 京东物流大模型实习生（1.5h）
普通京东岗位 · 非 TGT与训练较相关
京东物流大模型实习生；作者称业务偏ToB多轮对话与强化学习微调
发布：2025-07-01 11:51 ｜ 面试：2025-06-16（年份依据同年发帖推定；标题只写6.16）
围绕项目和强化学习微调追问算法原理、选型及SFT/PEFT实践，并询问重复生成问题、Agent/RAG和基础编程。适合练习“为何选某种后训练方法、如何诊断失败”。作者称三轮但未逐轮展开；非TGT，不能据此确定研究岗流程。
实习/强化学习项目PPO、GRPO、DPO原理与选型SFT/PEFT实践重复生成诊断Agent/RAG基础基础编程
B：原帖可读，作者、完整发帖日期、部门与问题类别清楚；属于未独立认证的个人自述。
使用边界
- 没有明确TGT标识
- 未涉及adaptive thinking mode
- 重复题单在其他账号出现，故该组只计1例
- 三轮是作者单例自述
京东日常实习-大模型应用算法 凉经
普通京东岗位 · 非 TGT与训练较相关
京东日常实习，大模型应用算法
发布：03-30 04:40（公开页面未显示年份） ｜ 面试：未披露
作者自述在项目和实习追问后，讨论GRPO训练、listwise奖励建模、MoE及编程。可用于串联数据、奖励和训练流程；但内容极简，年份与轮次未披露，也不能从作者对结果的解释推断淘汰机制。非TGT。
GRPO在线训练流程listwise奖励模型MoE原理与微调逆序对编程
B-：正文较短，账号和原帖可定位；发帖年份及面试发生时间不明确，访问有波动。
使用边界
- 没有明确TGT标识
- 发帖年份与面试日期未知
- 不将作者所称横向比较视为官方结论
- 不要把listwise奖励模型误读成GRPO必需组件
京东暑期实习算法工程师-大模型一面挂
普通京东岗位 · 非 TGT与训练较相关
京东暑期实习，算法工程师—大模型
发布：03-11 15:06（公开页面未显示年份） ｜ 面试：未披露
一面围绕微调项目，追问数据构建、指令遵循、Attention及LoRA，并考察向量化实现。适合准备数学细节与数据决策；原帖把LoRA增量低秩混同于合并权重低秩，不能当正确答案背诵。非TGT，年份未核验。
不微调时的指令遵循训练数据获取与构造Attention缩放LoRA数学无循环矩阵距离计算
B-：原帖可读并有个人叙述；日期年份不完整，部分技术转述有误。
LoRA约束ΔW=BA的秩至多为r；W+ΔW一般仍可为满秩。原帖问题措辞不能作为该数学命题的证据。
使用边界
- 没有明确TGT标识
- 发帖年份与面试日期未知
- 作者称挂面仅为个人结果
- 题目转述不保证精确
京东科技暑期实习offer
普通京东岗位 · 非 TGT应用侧辅助
京东科技暑期实习；正文提京东云IaaS业务部，具体职位名称未明确
发布：2025-05-16 19:20（页面标已编辑） ｜ 面试：4月23日、4月25日、4月28日；结合帖子为2025年春招（年份为上下文推定）
作者记录两轮技术相关面试和HR面，涉及RAG检索、表示可比性、项目细节及Agent，另有基础开发问题。可借鉴项目讲述和反问准备；职位偏应用且名称不明，不能代替TGT训练/研究面经或推出统一三轮流程。
RAG检索与向量表示项目细节数据库/并发基础Transformer与Diffusion课程项目Agent认知动机与经历
B：原帖、作者和完整时间线可读；具体职位未清晰标注，作者自称遗忘版回忆。
使用边界
- 没有明确TGT标识
- 职位名称未明
- 偏RAG/应用，不代表基座或后训练研究岗
- 录用时间线不得泛化
京东面试（一面，确认凉了）-京东科技部门-云事业部门-技术运维（实则AI agent开发工程师）
普通京东岗位 · 非 TGT应用侧辅助
京东科技云事业部门，邀约归类技术运维；作者称实际为AI Agent开发实习
发布：2026-02-10 10:42（站点显示时间，时区未核验） ｜ 面试：未披露（不能把发帖日当面试日）
作者围绕AI报警、RAG文档处理及工具链接受连续项目追问，也核对了岗位内容与实习安排。可用于练习业务指标、错误处理与反问；这是Agent应用开发经历，对后训练/Reasoning技术深度的指示很弱，非TGT。
AI业务收益与可靠性RAG大文件/更新工具链与MCPAgent技术理解实习安排
B：原帖、作者、发帖日和互动可读；岗位归类为作者对面试官说法的转述。
使用边界
- 没有明确TGT标识
- 非模型训练/后训练算法岗
- 不把岗位大类解释泛化到全公司
- 不能据此推定TGT难度
已排除岗位混杂的题目汇编、无法核验原文的热榜标题、商业推广和高度重复的题单。上述数量不代表京东或 TGT 面试的统计分布。
从这些材料中可以练习什么
- 下面是备考判断而非官方考纲：将有限精力优先投向项目证据、后训练目标/梯度/数据流、奖励与评价、数学和代码。
- 样本没有直接覆盖adaptive thinking mode；该部分应从公开论文与本人研究构建模拟题，不能包装为京东真题。
- 每段研究经历准备：问题和约束、你负责的部分、方法选择、最强基线、公平预算、消融、失败与下一步。
04
后训练与 Reasoning 核心讲义
首次接触这个方向，可先读Adaptive Thinking 领域导读与最新研究。先口头回答核心问题，再展开核对。这里只保留面试所需的概念骨架；论文动机、方法、实验条件与限制见完整讲义。
让策略依据输入 x、当前模型能力、可用预算 B，以及可选的生成中状态，决定是否展开显式推理、使用何种推理方式、何时结束思考。核心是学习条件化的计算分配，而不是把所有回答统一缩短。
先辨析：模式、预算、路由、early exit 与隐藏推理
| 概念 | 谁决定、何时决定 | 与自适应计算的关系 |
|---|---|---|
| 固定 token budget | 由调用者统一给上限 B，或按预设规则给每类问题不同 B。 | 是资源约束/控制接口；预算内自然提前结束不自动证明模型学会最优分配。 s1 的 budget forcing；Qwen3 报告中的阈值到达后插入 stop-thinking 指令。 |
| thinking / non-thinking 模式切换 | 同一模型能够按控制信号输出长思考或直接答案。 | 是可控能力；如果模式由用户指定，仍没有解决自动选择。 初代 Qwen3 /think、/no_think 与 enable_thinking。 |
| 学习型 adaptive thinking | 模型/控制器依据题目与预算预测模式，并通过训练学习质量—成本取舍。 | 可以用单模型首 token、独立控制器或生成中停止策略实现。 Thinkless 学首控制 token；本方案再研究预算条件下的停止时机。 |
| early exit | 术语需先澄清：一是思考序列提前终止，二是每个 token 跳过后续网络层。 | 前者改变生成长度，后者改变每 token 计算深度；都可能自适应，但不能混称。 本方案只研究停止显式思考，不改变 Transformer 层数。 |
| router / cascade | 外部系统选择小/大模型、直接答/深度推理，或失败后升级。 | router 是机制；训练得到的 router 也可实现自适应计算，但需把路由、重试和多模型成本计入。 本方案把同一学生上的轻量模式 router 作为公平基线。 |
| hidden reasoning | 把生成的推理内容不显示给最终用户。 | 这是可见性设置；隐藏了文本并不免除生成 token、KV cache 和延迟。不要由输出没有 think 标签推断没有内部推理。 区分原始生成 token 与最终可见 answer token。 |
| latent reasoning | 在连续隐藏状态等内部表示上做额外计算，而非逐步输出自然语言推理 token。 | 这与把文本 CoT 隐藏显示是不同概念；本次实验不引入新的 latent 架构。 作为面试术语边界理解，不纳入两周最小实验。 |
| 模型插值的全局 λ | 用验证集选定一组模型权重，在部署时使用该单模型。 | 可移动整体质量—长度取舍，但全局 λ 本身不保证逐题最优预算分配。 Revisiting Model Interpolation for Efficient Reasoning 可作为强且便宜的对照。 |
我会先确认团队所说的 adaptive 是用户可控、请求级自动选模式，还是生成中动态停止。我的研究兴趣是后两者：在明确质量约束下，把计算花在有收益的问题和阶段上，而不是只减平均长度。
[21][22][23]01 · 先画清训练链：预训练、SFT、蒸馏、RL
每个阶段到底改变了什么，何时需要它？
预训练提供语言与知识基础；SFT 学参考响应与输出行为；蒸馏引入教师的轨迹或软分布；RL 按可验证结果/偏好重新分配轨迹概率。SFT→OPD→RL 是一个候选配方，不是必需定律。R1-Zero 说明可从合适基座直接 RL，R1/Qwen3 则说明冷启动与多阶段训练的实用价值。
白板表达
L_SFT=−E_(x,y*) Σ_t log πθ(y*_t|x,y*_<t)；只对 assistant 目标 token 算损失，明确 sum/mean、padding 与 EOS。
SFT 为什么可能改变后续 RL 探索？
它改变初始轨迹概率与熵；硬拟合少数参考可能提高即时答案分数，也可能压低可探索替代路径。必须测后续 RL 终点。
何时用 SFT，何时优先 RL？
格式/行为尚未可用、有效 rollout 稀少时先建可学起点；已有可解覆盖且 verifier 可靠时 RL 更有直接信号。看小规模诊断而非固定口号。
DPO 与 GRPO 怎么区分？
DPO 用成对偏好优化相对概率；GRPO 从策略采样得到组内奖励差异。比较时要明确偏好数据是否离线、是否使用 reference、以及生成成本。
回到自己的论文
- Shadow-FT：用‘在何处学习参数增量’解释后训练行为与新任务学习的相互影响。
- ProFit：用‘哪些参考 token 产生梯度’连接 SFT 数据价值，不能把高概率当作通用语义重要度。
- Simple-OPD：用预热初始化解释阶段间兼容性；个人负责模块需用户自行补充。
02 · 白板讲透 GRPO、DAPO、GSPO
同样的最终答案奖励，为什么优化实现会改变稳定性和长度？
先固定 rollout 行为策略、参考策略、reward、advantage，再逐项比较 ratio、clipping、长度归一化和样本过滤。GRPO 的组内对比减少 critic 成本，但仍会遇到同奖组、长链 credit assignment、策略陈旧和熵坍塌。DAPO 与 GSPO 分别改变这些环节，不能只背缩写。
白板表达
r_it=πθ/πold；A_i=(R_i−Rbar)/(std(R)+ε)；clip surrogate=min(r_it A_i,clip(r_it,1−ε_l,1+ε_h)A_i)。A<0 时要能解释 min 为什么限制另一方向的更新。
πold 与 πref 一样吗？
πold 是采样行为策略/近端更新锚点；πref 是正则参考。二者可按配方更新，但职责不同。
全组都答错还能学什么？
仅同一结果奖励的组内优势为零；KL/其他奖励项可能仍更新。需改善题目可解性、增加有效采样或提供预热，而非假装有正确性梯度。
为什么不能说 PPO clipping 保证 KL 不超过阈值？
clipped surrogate 只限制部分样本的目标激励，不是硬 KL 约束；仍应监控实测 KL、ratio 分位数和 clip fraction。
GSPO 的 s_i 是标准无偏 IS 权重吗？
完整序列比值才对应原始变测度恒等式；长度归一化与 clipping 是稳定训练的 surrogate 设计。
回到自己的论文
- Simple-OPD：解释更合适的初始化如何增加有效 RL 组；这仍需新实验证明。
- Model Interpolation：用 Mean/Pass 与熵区分可靠性和探索覆盖，避免混为同一能力。
03 · OPD：谁生成前缀，如何匹配分布，何时停止预热
为什么用学生自己生成的序列，却仍能从教师学到更多？
学生在自身 prefix 上得到教师反馈，缓解只跟随教师轨迹训练时的访问分布差异。prefix 来源与 FKL/RKL 是独立选择；局部 full-vocabulary KL、top-k 近似和 sampled-token 估计也要分开。先比较相同教师、数据与预算，再讨论适合即时分数还是后续 RL。
白板表达
设 p=student，q=teacher：FKL=Σ_v q_v log(q_v/p_v)，RKL=Σ_v p_v log(p_v/q_v)。完整轨迹 KL 的链式法则要求外层轨迹采样分布匹配且不额外逐序列长度归一化。
OPD 是否就是 reverse KL？
不是；OPD+FKL 也是合法组合。
GKD 是否对采样过程反向传播？
原文不对学生采样分布回传；在采到的 prefix 上优化局部分布匹配。不要把这写成完整期望目标的全部梯度。
什么情况下蒸馏教师太强反而不合适？
能力、tokenizer、思考格式与访问状态差异可能使监督难以利用。更强教师不自动最兼容。
为什么不直接加大 LoRA rank/预热轮数？
适应性与域外保留可能冲突；需要验证集确定近饱和点，并把后续 RL 与总算力纳入评价。
回到自己的论文
- Adaptive KL：动态调局部散度权重；需强调 head/tail 误差加权的是两个完整 KL。
- LLM-NEO：减少可训练参数的优化器/梯度成本；教师前向和学生激活仍存在。
- LoCa：校准监督分布可减少教师错误方向，但生成任务多解时不能机械强制唯一 token 最高。
- Simple-OPD：解释 teacher-compatible warm-up 与后续 OPD 的连接。
04 · 训练何时想、想多久
如何从可手动切换两种模式，走到模型自动分配计算？
先保证短答/长思考都可用，再让策略学习模式首 token；通过正确性—成本奖励学习选择，并让停止 token 参与响应策略优化。用户预算作为上限或条件输入。模式决策与长响应的梯度尺度应分别监控，避免只学一种模式。
白板表达
π(m,y|x,B)=π(m|x,B)π(y|x,B,m)；Thinkless 把 mode surrogate 与 response surrogate 分别归一化。预算上限 B 和实际长度 T 是两个变量。
为什么不根据问题字数直接分配预算？
字数与所需计算不等价；短题也可能难，长题也可能只是抽取。规则可作基线，学习策略应在跨域/改写测试中证明收益。
用户指定 think 时还应自动选择吗？
把用户模式要求设为约束；自适应策略在允许的范围内选择深度。产品控制与模型策略的优先级应明确定义。
怎样证明模型学的是收益而不是题目表面样式？
使用等难度改写、领域外题、短难题/长易题切片；比较按额外思考真实增益分桶的分配，并限制只用部署可获得的特征。
回到自己的论文
- Model Interpolation：全局 λ 给出无需新训练的取舍基线；下一步才是逐题、逐预算条件化。
- Timber：可用现有检查点调整探索性，但 eRank/熵都只是代理，不是自适应策略已正确的证据。
05 · 正确性、长度奖励与难度混合
怎样让模型学会高效正确，而不是更快地答错？
把正确性与成本分开测，保留短错作为负例，明确截断样本如何计奖。难度取决于当前学生在每种模式下的可解概率；全难可能无正例，全易可能全同奖。训练要保持可学的对比，并记录重采样成本。
白板表达
若独立采样、单次正奖率 p、每题 G 次：P(至少一个正例)=1−(1−p)^G；P(正负混合组)=1−p^G−(1−p)^G。增加 G 不自动提高单次成功率 p。
reward=correct−λ×length 有什么坑？
尺度不匹配会诱导短错；不同预算和数据难度下 λ 的含义变化。需归一化成本、验证质量下限，画不同 λ 的 Pareto 曲线。
mask 掉错误回答不是更干净吗？
会移除区分短错与短对的信号；在有正例的组中，错误零奖本来可以获得负优势。
难题比例越高越好吗？
不一定；先诊断各模式成功率和有效组比例，再做 easy/hard 混合与课程消融。
回到自己的论文
- ProFit：选择 SFT token 与选择 RL 轨迹是不同层级；不能把 ProFit 掩码直接等同于丢弃负回报。
- Quantization Meets Reasoning：错误定位与针对性修复提示保留失败类型诊断；压缩后预算策略也可能需要重校准。
06 · 证明收益：固定预算、质量—成本前沿与无泄漏
你如何证实变短是可用改进，而不是指标选择造成的幻觉？
至少同时报告统一请求上限下的单次质量、相同平均总 token 成本下的质量前沿、相同硬件负载下延迟、困难/OOD 切片。长度统计包括全部生成，Pass@k 只作覆盖诊断，并计 k 次成本与选择器成本。
白板表达
支配定义：方法 A 的质量不低、成本不高且至少一项严格更好，才支配 B。Pareto 前沿不能用单一 accuracy/token 替代。固定总预算时多次采样与单次长思考也应统一成本。
Mean@k、Pass@k、Vote@k 分别说明什么？
Mean 是采样正确率平均；Pass 是至少一次正确的覆盖；Vote 是实际投票策略质量。Pass 使用 oracle 判定，不能当成部署用户拿到的准确率。
为什么 AIME 小幅提高不一定可靠？
题数少、采样和训练种子都会波动；应按题 bootstrap，并把 checkpoint 内采样方差与多次训练方差分开。
验证集应该选择什么？
只在验证集选 λ、mode 阈值、预算、checkpoint 与插值 λ；锁定后一次评测测试集。不要反复用测试曲线筛选最佳点。
回到自己的论文
- Model Interpolation：保持 Mean、改善 Pass 和降低 token 是不同证据；token 降幅不是实测硬件加速比。
- FluxBin：算法层的成本代理必须落实为相同硬件、负载、质量条件下的真实性能。
- LLMs on Memristors：区分估算能耗与真实硬件测量；高噪声长复读会改变成本分布。
07 · 可验证训练数据与奖励可靠性
没有可靠 verifier，如何知道你训练出了推理能力？
数学/程序执行适合作为初步可验证域；开放式任务需另做评分与人工审计。解析失败、答案格式投机、测试覆盖不足和数据重复都会污染训练。数据质量要同时看题目可解性、参考正确性、难度覆盖与近重复。
白板表达
将解析有效性、答案正确性、格式、成本分别记录。主质量奖励来自正确性验证；格式不能替代正确答案，LLM judge 分数不能直接当真值。
代码通过测试就一定正确吗？
有限测试只能提供证据；增加隐藏边界测试与变形测试，避免公开测试被硬编码利用。
如何向零售场景扩展？
先用可程序生成与验证的规则组合、优惠计算、约束选择作为公开代理任务；它们只是建议场景，不代表京东内部任务或数据。
怎么审计泄漏？
按题源/模板/时间先划分，再做文本与语义近重复、题解派生和共享生成模板审计；新生成不保证与公开 benchmark 无关。
回到自己的论文
- LoCa：标签可信度决定监督校准是否合理。
- Quantization Meets Reasoning：从 unique_id 排重扩展到语义重复、题解污染与强教师生成审计。
08 · 训练系统与部署成本：从 token 到延迟
后训练主要花在哪里，推理少 token 为什么不总是等比例更快？
训练拆成 rollout、教师/奖励前向、actor backward、权重同步与排队；长尾响应和 stale rollout 会同时影响效率与算法。部署拆成 prefill、decode、KV cache 与调度。与用户的量化工作相接时，分别测每 token 速度和总生成量。
白板表达
延迟≈排队+prefill+逐 token decode+工具/验证时间；这只是测量分解，真实 batch、缓存和并行使每 token 成本不固定。
LoRA 为什么未必显著降低 OPD 总成本？
优化器/梯度变小，但教师 logits、学生生成和长序列激活可能占主导。先做时间与显存分解。
异步 rollout 的代价？
吞吐可能更好，但行为策略更陈旧；需保存生成 logprob/版本，监控 ratio、有效样本与性能。
隐藏思考时 TTFT 怎么报告？
同时报告模型首生成 token、首个可见答案 token、端到端完成时间；只报不可见思考的 TTFT 会误导用户体验。
回到自己的论文
- LLM-NEO：把参数效率与整个流水线显存/时间分开。
- PTQTP：真实压缩格式与缩放开销，而不是只说理论位宽。
- FluxBin：算法与 kernel 协同，统一硬件与 batch 后比较。
- LieQ：位预算分配与思考预算分配都需质量约束；结合是待验证设想。
05
研究题：什么时候值得多想一步？
原创研究设计 · 尚未执行
在同一小模型、相同数据与总训练预算下，teacher-compatible SFT→OPD 是否比 SFT→RL 更有利于学习质量约束下的模式选择与停止时机？该收益是否来自保留两种模式的可探索轨迹，而非只提高预热后分数？
原创组合研究设想；尚未执行，不是用户已有成果，也不主张未经检索证明的首创性。
双模式 SFT→条件化 OPD→模式与停止策略 RL→质量／成本／延迟
一种教学分解是 π(m,y|x,B)=π(m|x,B)π(y|x,B,m)，m∈{short,think}；在 think 内生成停止标记决定实际思考长度。更一般可学习预算 b 或在线停止时刻 τ。此式是设计视角，不是某篇论文的新公式。
用 90 秒讲清这项研究设想
我会把自己现有的蒸馏和高效推理工作连接起来：先让同一学生学会短答与长思考，再在学生自身前缀上做模式条件化 OPD，最后用正确性与生成成本训练何时思考及停止。主张必须由固定 token/延迟预算下的质量前沿支持，并检查困难题与域外能力。最关键的对照是总成本匹配的 SFT→RL、固定预算和轻量 router；如果 OPD 的准备成本抵消部署收益，结论也应如实报告。
- H1：适量同教师预热加 OPD 比只用硬标签 SFT 更能保留两种模式的有效候选，提升随后预算 RL 的样本效率。
- H2：将模式决策与响应的损失尺度分开，可减少模式坍塌；长度成本使已选 think 模式学会更早完成，而非一律 short。
- H3：easy/hard/暂不可解混合比只训难题更稳定；但简单全对组比例过高也会削弱对比。
- 这些是假设；不能以论文之间可以拼接为由声称效果必然叠加。
最小实验：模型、数据规模与资源边界
学生
首轮建议 Qwen3-1.7B 初代混合模型；若资源允许再扩 Qwen3-4B。固定具体 revision、tokenizer 与模板。
教师
同 tokenizer 家族的 Qwen3-8B 作为低成本试验教师；资源允许可换 Qwen3-32B。固定 checkpoint，明确每种模式的提示。
选择依据
使用同词表方便完整 token 分布对齐；模型选择是可行性建议，不是已测得最佳组合。
预算条件
B∈{512,2048,8192} 个总新 token 为初始候选；B 是输入预算条件和硬上限。为最终答案预留可调固定窗口，reasoning 与 answer token 都计入成本。
先做资源试测
先测 50–100 条的峰值显存、tokens/s 与教师 logits 开销，再决定 batch、序列长度与并行；不在不知道 GPU 的情况下承诺两周完整大规模训练。
首轮规模
2K–5K 训练题、500 验证题、锁定测试集；先单 seed 调通，再对最终少量配置做 3 seed。数据规模和种子数均为建议。
数据、难度分层与防泄漏
候选任务
- 公开数学/可执行代码，先只做规则 verifier 可靠的子集。
- 可选零售代理任务：由程序生成的优惠叠加、库存/配送约束、规则组合；不使用或假定存在京东内部数据。
划分顺序
按题源、模板族和派生关系先划分 train/validation/test，再生成答案；train 内另划 SFT/OPD 与 RL 提示池，便于分析准备与后续学习。
相对于当前学生的难度
仅用训练池，在学生 short/think 两种模式各采样少量候选，估 p_short、p_think；标为两模式可解、仅长思考相对可解、当前均难。难度不是题目永久标签。
难度混合
初始可试 40%两模式可解、40%长模式相对可解、20%当前难题，并与均匀/只易/只难对照；比例只是试验起点。
泄漏检查
- 同题不同解法、改写与模板同族放同一 split。
- 文本 exact/near duplicate 加语义相似人工抽查；追踪题解来源与教师生成记录。
- 最终评测题不用于难度路由标签、奖励调参、checkpoint 选择或模型插值 λ 选择。
- 只用训练/验证集建立 router；部署不可访问参考答案或评测 verifier 的事后结果。
A · 双模式 SFT 预热
操作
用同一教师分别生成短答与长思考，验证最终答案；成对成功样本形成清晰模式映射。只有长答正确的题保留长模式样本，不伪造短答正确标签。用适量 LoRA 预热，独立验证集选近饱和点。
目的
让模式 token 可控并保留两种能力；记录模式遵循率、分模式准确率、熵和域外保留。
消融
无预热 / 硬标签双模式 SFT / 同教师与异教师 SFT；rank 与时长仅做小范围对照。
边界
错误 CoT 的预热效果可列研究消融，不能当主方案的正确答案监督。
B · 模式条件化 OPD
操作
给定外部采样的模式 m 与预算条件 B，学生生成自身响应 prefix；教师在相同 prefix 与模式下提供 logits。主比较 FKL/RKL，AKL 作为与现有论文连接的选配消融；固定教师、数据、rollout 和优化预算。
目的
让学生在自己会访问的状态得到密集反馈；比较预热后即时分数与后续可学习性。
目标
L_OPD=E_(x,m,B), y~stopgrad(πS(.|x,m,B))[(1/T)Σ_t D(pT(.|h_t,m,B),pS(.|h_t,m,B))]。
边界
强制抽样 m 时，这是条件响应策略的 on-policy distillation，不能宣称整套自动模式策略也完全 on-policy。不要用未校正的强制模式 rollout 更新 joint-mode policy gradient。
C · 学习模式选择和思考停止的预算 RL
操作
模型自行采样模式首 token，在预算 B 内生成响应；think 模式中由原生停止思考 token 决定何时进入答案。先采用可解释的 GRPO 风格实现，对 mode 与 response 的 surrogate 分开归一化；响应部分包含停止 token。和不分开的实现对照。
奖励
初始奖励 R=1[verified_correct]−λ·min(T_total/B,1)，0≤λ<1；再按验证质量约束选 λ。截断/解析失败记为未完成，单独统计，不误标为‘推理逻辑错’。
这个奖励能保证什么
该 λ<1 只保证在此有界标量奖励中任何正确轨迹得分高于任何错误轨迹；它不保证整体策略不会为成本牺牲准确率，因此仍需总体与困难切片质量下限。
成本口径
T_total 包括所有思考、最终答案与重复生成，防止把思考搬进答案来规避成本。部署时另测延迟；不要假装 token 是硬件无关的真实时间。
优化对照
主方案只保留一种清楚的 loss reduction。DAPO 的全 token reduction、GSPO 序列 ratio 作为后续独立对照，不一次混进多个改动。
需要记录的指标
- 按模式的成功率、选模比例与熵
- 四类：短对/长对/短错/长错
- 同奖组比例、clip fraction、ratio 分位数、KL
- 截断率、长度 p50/p95、reward 与验证质量
- rollout 策略版本、staleness、训练总 token/GPU hours
强基线与公平比较
- 同 checkpoint 的 always short 与 always think，在完全相同推理参数与总新 token 上限下。
- 外部固定预算/早停控制；另用 s1 风格延长作为可选预算曲线对照，不能只选一个弱预算点。
- 同一学生上的轻量 router 或预算规则；训练数据与路由额外延迟计入。
- SFT→RL、SFT→OPD→RL、无 OPD 但用省下算力延长 SFT/RL：分别报告相同下游预算和相同总训练预算两种比较。
- 全局模型插值基线（仅限权重坐标兼容的模型）；在独立验证集选 λ，记录选择开销。
- 事后 oracle 选择模式仅作为诊断上界，明确它用到了正确性信息，不能作为可部署基线。
- 多次短采样/投票或 verifier reranking 只有在计入全部采样与选择器成本后，才能与单次长推理比较。
评估协议：什么结果才支持“更高效”
主要指标
固定每请求 cap B 的单次答案质量；同平均总生成 token 成本下的 quality–cost Pareto frontier。每条曲线只用验证集选择超参数/阈值，再冻结测试。
真实延迟与吞吐
在同一 GPU、引擎 revision、精度、batch/concurrency、prompt 分布、KV cache 与 warmup 条件下，测 p50/p95 端到端、首可见答案时间、吞吐；单请求和并发负载分开。
质量切片
easy / hard / 当前不可解、数学 / 代码 / 代理业务、短难题 / 长易题、OOD、不同预算；同时报告模式覆盖和截断率。
覆盖诊断
Mean@k 与 Pass@k 用于质量/覆盖诊断；主部署指标是实际选出答案的正确率，不把 oracle Pass@k 冒充可实现准确率。
不确定性
最终配置尽量 3 个训练 seed；按题 paired bootstrap 报告质量差与成本差区间。小 AIME 样本不单独承担结论。
总训练成本
记录教师数据生成、筛选验证、SFT、OPD、RL 和参数搜索的总 GPU hours / token /显存；不能只报告最后 RL 的步数。
事先确定接受条件
研究性预设示例：验证后锁定约 1 个百分点总体质量容忍度，并给 hard/OOD 单独下限；若达到质量下限再讨论平均 token 或 p95 延迟下降。1 点是建议阈值，需按具体任务要求调整。
不能据此声称有效的比较
- 只减少思考标签内 token，却把长文本移到最终答案。
- 只比较各方法最佳一次训练，隐藏种子波动。
- 用更大生成上限/更低温度帮助某个方法而未对齐。
- 用同一组测试题训练路由器再评价自适应收益。
消融、负结果与已有论文的关系
- SFT only / SFT→OPD / SFT→RL / SFT→OPD→RL，匹配总训练成本。
- FKL / RKL / AKL：固定 prefix 采样方式、教师与模式比例，区分即时终点与 RL 终点。
- 模式损失分离 on/off；记录模式坍塌及控制 token 梯度。
- 成本系数 λ=0 与多个 λ；预算条件输入 on/off；硬 cap 与学会自然停止分开。
- easy/hard/混合；G=4/8/16 在相同总 rollout token 预算下比较，不只等 steps。
- 不丢短错 / mask短错；检验是否因丢负例而学到短答捷径。
- Teacher-compatible 预热 vs 能力相近但来源不同教师；总生成和预热成本均计入。
- 可选压缩后验证：量化同一个学生，重测路由校准与质量—延迟曲线；不是两周最小实验的必选项。
应该接受的负结果
- 若 OPD 初始分数提高、RL 后无额外收益，说明准备阶段指标与可学习性未一致，需要查看覆盖、熵与模式偏差。
- 若 token 下降但 p95 延迟不降，分析长尾与调度；不能把 token 收益包装为系统加速。
- 若 adaptive 仅优于固定差预算、但输给调好的 router/插值，贡献需转向机制分析或更低训练成本。
- 若错误组/截断主导，先修数据与 verifier，再调 loss；无有效 reward 的训练不支持能力结论。
Simple-OPD 提供教师兼容预热视角；AKL 提供局部损失比较；MI/Timber 提供无需新训练的取舍与探索对照；量化系列提供真实成本和鲁棒性评估。这里只提出组合假设，没有引用任何论文证明整条流水线已有效。
06
模拟面试与动手练习
本节为原创练习，不是京东实际题库。建议每题先作答 2–3 分钟，再核对答题要点。研究面试重点是推理过程、实验设计和个人贡献是否经得住追问。
M01 · 研究贡献
把你最熟悉的一项蒸馏或后训练研究压缩成 2 分钟：具体优化目标是什么，强基线是谁，最有说服力的结果是什么？
继续追问
- 你的独立贡献能否用代码/实验划分？
- 哪些结果可能仅由更多训练或推理预算带来？
答题自查
以可量化问题、贡献归属、公平实验和失败边界组织回答。
M02 · SFT与RL
同一推理任务下，何时优先增加高质量SFT数据，何时引入可验证奖励RL？如何设计预算一致的比较？
继续追问
- 若初始成功率近零怎么办？
- 如何区分格式学习与能力提升？
答题自查
讨论冷启动、探索和奖励密度；既不预设必须SFT，也不预设RL必胜。
M03 · GRPO目标
选择一个明确版本写出 GRPO 目标，标明采样策略、旧策略、参考策略、优势归一化、裁剪和 KL 项；说明它是否与你自己的实现一致。
继续追问
- 组内奖励相同会怎样？
- token级与sequence级归约如何影响长度偏置？
答题自查
先明确实现版本；旧策略用于比率、参考策略用于约束，二者不可混同。
M04 · 奖励设计
为正确性、推理成本与格式遵循设计奖励，如何避免模型用缩短回答或钻验证器漏洞获利？
继续追问
- 长度惩罚系数如何选？
- 验证器错误怎样进入训练和评估？
答题自查
给出奖励分项、量纲、约束与独立验证；正确率与成本的权衡不能只看训练奖励。
M05 · Adaptive thinking机制
你把思考模式做成输入路由、显式预算控制，还是生成中的动态停止？为什么？
继续追问
- 路由器在什么时刻能看到哪些信息？
- 如何处理题目难度错估？
答题自查
明确决策时刻和可用信息，避免把答案正确性等事后信号用于线上路由。
M06 · 训练数据
如何构建同一问题的快答/深思训练样本，使模型学会何时增加计算，而非记住数据来源？
继续追问
- 如何过滤错误但冗长的推理？
- 训练测试去重和难度分层怎么做？
答题自查
说明质量验证、分布控制和泄漏检查，给出至少一个数据消融。
M07 · 预算与评价
如何比较固定长推理、自适应推理、best-of-N和较小模型路由，使成本结论公平？
继续追问
- 相同token数等于相同成本吗？
- 平均成本改善但P95恶化怎么办？
答题自查
报告准确率—成本曲线、预算控制、真实延迟/吞吐和尾部指标。
M08 · 泛化
如果自适应策略在数学题上有效，怎样检验它对代码、工具调用和分布外题目的泛化？
继续追问
- 哪些能力需要重新校准？
- 如何发现路由只记住领域标签？
答题自查
预先确定测试切片，隔离领域/难度因素，并比较固定策略的退化程度。
M09 · 训练排障
RL训练reward持续上升，独立测试正确率下降且输出变长，你的排查顺序是什么？
继续追问
- 哪些日志能区分过拟合、奖励投机和实现错误？
- 最小复现实验怎么设计？
答题自查
核对奖励、评估器、采样、KL/熵/长度/裁剪率和数据泄漏；一次改变一个关键变量。
M10 · 分布式与效率
给定GPU预算，如何定位后训练系统瓶颈并决定优先优化rollout、训练还是权重同步？
继续追问
- 更高吞吐会否导致样本陈旧？
- 不同长度batch如何影响有效利用率？
答题自查
基于端到端时间分解与profiling讨论，兼顾策略一致性和吞吐。
M11 · 数学与代码
现场实现带padding mask的序列log-prob聚合和GRPO组内优势计算，并说明零方差与变长样本处理。
继续追问
- 如何检查符号、mask和归约错误？
- 给一个手算可验证的小样例。
答题自查
明确分母、epsilon、detach与维度；对全padding和组内同奖样例作合理处理。
M12 · 研究判断
你现在最想否证自己的哪条研究假设？只给两周和固定计算预算，你会做什么实验？
继续追问
- 什么结果会让你停止这条路线？
- 负结果怎样转化为下一步？
答题自查
提出可证伪假设、强基线、最小实验与预先确定的判据。
三个小实现：手算结果比背代码更有用
练习 A · 组内优势与 mask
实现 G 个回报的组内标准化，组内方差使用总体方差；回报与优势 detach。给出 padding mask 下 token log-prob 的 sum 与 mean 两种归约。
R=[1,1,0,0] → mean=0.5, std=0.5 → A≈[1,1,−1,−1]
R=[1,1,1,1] → A=[0,0,0,0]（仅结果奖励，无额外项）
logp=[−1,−2,−3], mask=[1,1,0] → sum=−3, mean=−1.5
明确 epsilon、EOS 与截断处理；全 padding 样本应跳过或报错，不能静默制造有效样本。PyTorch 的 std 默认修正项可能与这里的总体方差口径不同，实现时显式指定。
练习 B · 学生前缀上的 FKL / RKL
固定同一批学生生成前缀，对教师与学生 logits 用 log_softmax，教师分布 detach。按完整词表计算两个 KL，区分温度变换、损失 mask 与长度归约。
p=student=[0.5,0.5], q=teacher=[0.75,0.25]
FKL=KL(q‖p)≈0.130812 nats
RKL=KL(p‖q)≈0.143841 nats
p=q 时两者均为 0
检查非负性、词表维度、teacher 是否得到梯度；若只保留 top-k 或只抽一个 token，说明它近似了什么，不能仍把结果当完整 KL。
练习 C · 一张诚实的质量—成本图
输入逐题记录：模式、预算、正确性、总生成 token、耗时、截断状态；输出每预算质量、平均 token、p50/p95 延迟和困难题切片。
- 构造“平均 token 下降但困难题准确率大降”的样例，确认报表能看见退化。
- 同一批题配对计算质量差；模式或超参数只用验证集选。
- 明确某方法质量更高且成本更低时才支配另一点；不要把 accuracy/token 作为唯一指标。
适合向团队反问的四个问题
- 课题更偏基座能力、Reasoning 后训练，还是 Agent 应用与 RL infra？实习预期交付是什么？
- 训练的主要瓶颈目前在数据／奖励、探索与优化，还是 rollout 和分布式系统？
- 如何同时评价通用能力、真实任务收益和推理成本？现有强基线是什么？
- 研究与工程如何分工，导师反馈节奏、可用资源、实习时长和论文发表安排怎样？
07
两周学习计划
每天约 2–3 小时，以完成一个可讲述、可检查的产物为准。时间紧时先完成基础、两篇主论文、研究设计和模拟面试。
0 / 14 项完成
进度仅保存在当前浏览器，不会上传。
交付物：各3分钟研究陈述；个人贡献仅填已确认事实
[25]交付物：10行伪代码 + 一次手算
[18]交付物：3分钟 adaptive thinking 回答 + 训练伪代码
[23]交付物：四象限诊断表 + 课程消融
[26]交付物：问题清单、修订答案、下一轮实验优先级
若只有10天：合并第1–2天、第4–5天、第6–7天、第11–12天；保留第3天个人论文深挖和第13–14天表达/模拟，不以追更多论文替代。
没有算力时，完成公式、数据/verifier小脚本、推理基线配置、总成本估算和可证伪提案即可；训练性能必须明确为待实验，不能用论文结果充当自己的复现。
08
其他人才计划：作为补充
保留官方入口作为拓展，不把不同计划的毕业范围、流程或待遇混为一谈。
腾讯青云计划
从招聘类型筛选青云；逐岗看训练/推理需求。
可从官方招聘类型筛选青云计划，再查看与训练、推理效率、AI Infra相关岗位。
[10]字节Seed大模型校招（原Top Seed已整合）
官方已更新名称；适合作为基础模型训练与推理研究方向的拓展。
现行校招面向2026年9月至2027年8月毕业者，实习面向2027年9月及以后毕业者。应使用Seed现行入口，而非继续沿用旧Top Seed项目名称。
[11]阿里星人才计划
核对阿里星校招资格，或查看研究型实习入口。
阿里星面向全球青年科研人才，当前页面列出的毕业范围为2026年11月至2027年10月；仍在读者可另外查看研究型实习项目。
[12]09
来源与阅读库
招聘以当前官方职位为准；个人面经仅代表发布者经历；论文实验是作者报告，未在此独立复现。正文中的来源编号可以跳到这里。
没有匹配的资料，请换一个关键词或资料类型。
[1] 京东校园招聘官方入口与TGT项目列表
官方入口当前列出TGT校招与TGT实习两类项目，可在招聘职位中选择项目并查询岗位。
京东官网当前列出 TGT 校招与 TGT 实习两个独立项目；从招聘职位选择对应项目。
[2] 【北洋园校区】京东集团2027秋季校园招聘宣讲会
材料把TGT校招范围写为2024年10月1日至2027年9月30日毕业，实习面向2026年10月及之后毕业的在校生，均涵盖海内外本硕博。提供官网及京东招聘公众号投递方式。
天津大学就业信息网刊载北京京东世纪贸易有限公司宣讲招聘材料；属于官方招聘转载，并非京东官网原文。页面显示2026-09-22为宣讲时间，未显示文章发布日期。
[3] 【实习】京东27年TGT顶尖青年技术实习生
列出多模态大模型、AI Infra、机器学习等实习方向，城市包括北京、上海、深圳；投递入口为京东校招官网的TGT实习项目。
华中科技大学计算机学院发布的招聘转载，作者为学院工作室；不是京东官网原文。
[4] 基于电商大模型的Mid-train及RL研究
领域知识注入；Agent强化学习后训练；奖励模型、PPO/GRPO；训练与评测数据闭环。
京东官方公开职位详情已核验。所列日期是职位列表中的发布时间，可能早于最新修改；投递状态和名额需在官网确认。
[5] 面向电商大模型预训练与后训练的探索研究
预训练与微调；电商场景RLHF/DPO/GRPO；幻觉和知识注入；降低训练、推理成本。
京东官方公开职位详情已核验。所列日期是职位列表中的发布时间，可能早于最新修改；投递状态和名额需在官网确认。
[6] 大模型训练与RL infra创新探索研究
RL后训练基础设施；训练到生成的效率；并行、压缩量化、算子融合；软硬件协同。
京东官方公开职位详情已核验。所列日期是职位列表中的发布时间，可能早于最新修改；投递状态和名额需在官网确认。
[7] 大模型高效推理与端云协同架构研发
长上下文及KV Cache；编译和结构优化；推理服务；端侧与端云协同。
京东官方公开职位详情已核验。所列日期是职位列表中的发布时间，可能早于最新修改；投递状态和名额需在官网确认。
[8] 基础大语言模型
模型架构、预训练和后训练；大规模GPU集群上的分布式训练优化。
京东官方公开职位详情已核验。所列日期是职位列表中的发布时间，可能早于最新修改；投递状态和名额需在官网确认。
[9] 算法工程师｜京东科技LLM应用算法组
岗位涉及SFT、RLVR和Agent RL，以及Agent的Test-Time Scaling；列举奖励模型、GRPO/PPO/DPO、训练框架等技能，可作为推理计算方向的补充关键词。
不是TGT岗位，只能用于了解京东相关团队技术需求，不能据此推断TGT统一要求或流程。
[10] 腾讯招聘｜职位搜索
可从官方招聘类型筛选青云计划，再查看与训练、推理效率、AI Infra相关岗位。
官方职位搜索页提供“校招青云计划”类别；国内校园岗位还提示前往join.qq.com。未核验本年度青云统一毕业范围或截止日期。
[11] Seed Foundation Model Campus Recruitment
现行校招面向2026年9月至2027年8月毕业者，实习面向2027年9月及以后毕业者。应使用Seed现行入口，而非继续沿用旧Top Seed项目名称。
本次访问官方FAQ明确说明，2027应届及在校实习的基座模型招聘已统一为Seed大模型校招，Top Seed不再单独运行。
[12] 阿里巴巴校园招聘｜阿里星人才计划
阿里星面向全球青年科研人才，当前页面列出的毕业范围为2026年11月至2027年10月；仍在读者可另外查看研究型实习项目。
官网当前首页同时列出2027届与阿里星人才计划；研究型实习入口面向在校生。具体岗位条件与投递状态逐岗核对。
[13] 6.16 京东物流大模型实习生（1.5h）
围绕项目和强化学习微调追问算法原理、选型及SFT/PEFT实践，并询问重复生成问题、Agent/RAG和基础编程。适合练习“为何选某种后训练方法、如何诊断失败”。作者称三轮但未逐轮展开；非TGT，不能据此确定研究岗流程。
[14] 京东日常实习-大模型应用算法 凉经
作者自述在项目和实习追问后，讨论GRPO训练、listwise奖励建模、MoE及编程。可用于串联数据、奖励和训练流程；但内容极简，年份与轮次未披露，也不能从作者对结果的解释推断淘汰机制。非TGT。
[15] 京东暑期实习算法工程师-大模型一面挂
一面围绕微调项目，追问数据构建、指令遵循、Attention及LoRA，并考察向量化实现。适合准备数学细节与数据决策；原帖把LoRA增量低秩混同于合并权重低秩，不能当正确答案背诵。非TGT，年份未核验。
[16] 京东科技暑期实习offer
作者记录两轮技术相关面试和HR面，涉及RAG检索、表示可比性、项目细节及Agent，另有基础开发问题。可借鉴项目讲述和反问准备；职位偏应用且名称不明，不能代替TGT训练/研究面经或推出统一三轮流程。
[17] 京东面试（一面，确认凉了）-京东科技部门-云事业部门-技术运维（实则AI agent开发工程师）
作者围绕AI报警、RAG文档处理及工具链接受连续项目追问，也核对了岗位内容与实习安排。可用于练习业务指标、错误处理与反问；这是Agent应用开发经历，对后训练/Reasoning技术深度的指示很弱，非TGT。
[18] DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
R1-Zero 从预训练模型直接做 RL，利用可验证答案和格式信号，不以 SFT 为前置；R1 则引入冷启动和多阶段训练。GRPO 用同题一组回报估计优势，省去独立 value/critic 模型；仍需 rollout、verifier 与策略更新。
版本：arXiv:2501.12948v2（2026-01-04）；Nature 2025 正式发表 ｜ 建议阅读：§2–3；Appendix A.3
阅读重点与公式边界
A_i=(R_i-mean(R_1…R_G))/std(R_1…R_G)。实际实现需处理 std=0，例如稳定项；同奖组的结果优势为零。
成立条件与容易误读之处
R1-Zero 的无 SFT 不等于没有预训练知识，也不等于 R1 没有 SFT。分组优势不给逐步正确性标签。R1 报告有简写的序列目标；token 实现应单独写出 ratio 与 reduction。
面试阅读目的
把 base→SFT→RL 的功能与必要性分开讨论；解释没有 critic 后还剩哪些训练成本。
[19] DAPO: An Open-Source LLM Reinforcement Learning System at Scale
DAPO 组合 Clip-Higher、动态重采样、全 token 归一化和超长样本处理。把上界与下界解耦；重采样过滤全对/全错组以保留结果奖励的组内差异；损失按总 token 数归一化。
版本：arXiv:2503.14476v2；方法按该固定版本核对 ｜ 建议阅读：§2.3–3.4；Eq.9–12
阅读重点与公式边界
r_it=πθ(y_it|x,y_i<t)/πold(y_it|x,y_i<t)；J∝[Σ_i T_i]^-1 Σ_i,t min(r_it A_i,clip(r_it,1-ε_low,1+ε_high)A_i)。
成立条件与容易误读之处
动态采样消耗额外生成，必须计成本；过滤的是按当前采样结果无差异的组，不是永久丢弃所有简单/困难题。token-level loss 不代表获得了 token-level reward。去 KL 是该配方选择，并非普遍必需。
面试阅读目的
遇到训练崩溃时能从熵、有效组比例、长度、截断和采样成本解释，而非只更换算法名字。
[20] Group Sequence Policy Optimization
GSPO 对整条响应采用相同的序列权重与 clipping。它将序列似然比取长度次方根，缓和长序列比值波动；作者在长响应和 MoE 训练中报告更稳定的优化。
版本：arXiv:2507.18071v1；固定原始算法版本 ｜ 建议阅读：§3–4；Eq.5–8
阅读重点与公式边界
s_i=exp[(1/T_i)Σ_t log(πθ(y_it|h_it)/πold(y_it|h_it))]；J=E[mean_i min(s_i A_i,clip(s_i,1-ε,1+ε)A_i)]。
成立条件与容易误读之处
完整轨迹重要性采样比值是乘积；取 T_i 次方根并 clipping 后的 surrogate 不能直接称为无偏轨迹 IS。clip 数值不能照搬 GRPO；稳定性证据不等于 GSPO 普遍最优。
面试阅读目的
说清奖励单位、ratio 单位、clipping 单位、reduction 单位这四个不同选择。
[21] Qwen3 Technical Report 与官方模式说明
旗舰后训练依次进行长 CoT 冷启动、推理 RL、模式融合、通用 RL；小模型采用离策略输出蒸馏加 OPD。初代模型融合 thinking/non-thinking。预算到阈值后插入停止思考指令，再生成答案；作者称该兼容能力从模式融合自然产生。
版本：初代报告 arXiv:2505.09388v1；另核对 Qwen3-4B-Instruct-2507 ｜ 建议阅读：§4.1–4.5；重点 §4.3 Thinking Budget
[22] s1: Simple test-time scaling
s1 用 1,000 条经过难度、多样性与质量筛选的推理样本做 SFT。推理时通过强制终止思考压缩预算，或在模型想结束时追加 Wait 延长思考。它展示小规模高质量训练数据与推理时控制的组合。
版本：EMNLP 2025，2025.emnlp-main.1025 ｜ 建议阅读：数据选择与 budget forcing 方法；长度/性能对照
[23] Thinkless: LLM Learns When to Think
先用成对的短答/长思考数据做模式预热，再让模型生成 short/think 首 token。正确短答奖励 1，正确长答 1−γ，错误 −1。DeGRPO 将控制 token 与响应 token 分别归一化，避免单一控制决策被长响应的损失稀释。
版本：arXiv:2505.13379v1；固定原始方法版本 ｜ 建议阅读：§3.1–3.2；Eq.1–4
阅读重点与公式边界
J=E[mean_i(α L_i0+(1/T_i)Σ_t=1^T_i L_it−β KL)]；L_it 为 clipped surrogate；原文 A_i=R_i−mean(R)，不除标准差。
成立条件与容易误读之处
其核心是两种模式的选择，不是任意连续预算的最优解；γ偏好与α更新速度不同。DeGRPO 与 DAPO 不是同一个方法。
面试阅读目的
最直接回答‘如何训练何时思考’，并解释 mode collapse 的优化原因。
[24] On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes
GKD 将固定数据前缀与学生采样前缀混合，让教师在学生实际访问的状态提供下一 token 分布；可选不同局部散度。作者对采样分布不回传梯度，更新形式接近监督模仿。
版本：ICLR 2024；arXiv:2306.13649v3 ｜ 建议阅读：§3；Eq.2–4 与 Algorithm 1
阅读重点与公式边界
L=(1−λ)E_(x,y)~D d_T,S(y|x)+λ E_x,y~stopgrad(S) d_T,S(y|x)，d 是逐 token 散度的长度均值。
成立条件与容易误读之处
on-policy 描述谁生成 prefix；FKL/RKL 描述同一 prefix 上的散度方向。该 surrogate 的梯度不能误写为含采样分布梯度的完整序列 KL 梯度。
面试阅读目的
建立 OPD 基础，避免把‘教师生成数据做 SFT’、full-logit KD 和 OPD 混同。
[25] Simple-OPD: Demystifying Warm-up for On-policy Distillation
Simple-OPD 用同一蒸馏教师的 CoT 做适量 LoRA SFT，随后执行原有 OPD。结果强调教师行为兼容性与预热程度；部分实验中错误教师轨迹也能帮助初始化。
版本：arXiv:2608.06802v1 ｜ 建议阅读：warm-up 数据与训练消融；Table 1
阅读重点与公式边界
流程为 teacher CoT→LoRA-SFT→merge→原 OPD；它没有另提新的 OPD 散度。
成立条件与容易误读之处
错误 CoT 可帮助行为预热不等于错误标签普遍有益；过久预热可能损害域外能力。预热后 OPD 获益不自动证明后续 RL 也获益；需计教师生成和预热成本。
面试阅读目的
与用户现有蒸馏论文形成直接入口：能具体讲明 warm-up 为何影响学生 prefix 分布。
[26] The Art of Efficient Reasoning: Data, Reward, and Optimization
该文把高效推理视为数据、奖励和优化的共同问题。短且对、长且对、短且错、长且错必须区分；适量可解题和更多 rollout 提供有效奖励信号。只保留正确轨迹可能让模型把长度当成正确性的捷径。
版本：arXiv:2602.20945v3 ｜ 建议阅读：数据难度、四类样本、截断奖励与 rollout budget 分析
阅读重点与公式边界
R_T(x,y)=1[y正确]·1[L(y)≤L_T]；L_R 是采样上限，L_T 是奖励阈值。
成立条件与容易误读之处
零奖励和 mask 不同：混合组中零奖励仍可能是负优势。易题也可能全对而失去对比；长度先降不代表质量已恢复。训练长度阈值不是部署硬保证。
面试阅读目的
建立难度混合、负样本与预算评估意识；是相关工作，不属于用户论文。
[27] RL Starts before RL: On Policy Distillation for Better Reinforcement Learning
该文比较不同准备方式之后的 RL 终点，说明准备阶段即时分数不足以衡量后续可学习性。把学生/教师 prefix 与 FKL/RKL 分开做因子实验；局部分布对齐、熵与后续收益存在相关性。
版本：arXiv:2609.28145v2 ｜ 建议阅读：主比较与2×2前缀/散度实验；Appendix A.3
阅读重点与公式边界
L_(ρ,D)=E_(x,y)~ρ[(1/T)Σ_t D(p_T(.|h_t),p_S(.|h_t))]；ρ 与 D 是两个实验维度。
成立条件与容易误读之处
某些学生 prefix 配置下 FKL 的后续收益不能外推为 FKL 普遍最好。作者明确未把准备成本和总训练 compute 纳入比较；相关性探针不是机制因果证明。
面试阅读目的
把用户的 warm-up/KD 工作延伸到‘什么初始化最适合预算 RL’这一可检验问题；该文为相关工作。