一个样本不止是 question + CoT
还可以记录来源与去重簇、领域／难度、教师版本、采样参数、答案验证、长度、工具执行、停止原因，以及学生对轨迹的可学习性。
01
重点从“链有多长”转向“监督是否适合这个学生”
CoT 数据研究关心：给什么题、生成什么轨迹、在哪些状态上监督，以及监督后模型究竟学到了什么。长文本只是数据的一种表现形式。题目分布、教师策略、学生能力、错误前缀、停止位置和验证器，都会改变训练效果。
OPD 让数据随学生变化
学生生成当前会走到的前缀，教师在这些前缀上提供下一步监督。学生更新后，遇到的前缀又变了，因此训练数据是一个迭代过程。
适合面试的一句话：我关注推理监督与学生当前策略的匹配，希望让模型学会有效推理、适时结束，并保留后续强化学习的提升空间。
这是基于你的蒸馏背景提出的研究定位建议；是否用作港大项目主线，要由真实任务、分工和实验支持。
下文的“近期关注点”是基于本次检索的研究判断，不能代表所有公司内部路线。阅读全景和综述可先看Adaptive Thinking 的 Survey 导读。
02
静态 CoT、OPD 与 RL 的差别
| 训练方式 | 前缀从哪里来 | 监督是什么 | 核心风险 |
|---|---|---|---|
| 离线 CoT SFT | 预先收集的教师／人工轨迹 | 目标 token 的交叉熵 | 教师轨迹太难或不匹配；学生推理时偏离训练前缀 |
| 离线软分布蒸馏 | 固定语料中的轨迹 | 教师在同一前缀上的分布 | 软监督更丰富，但状态分布仍然可能不匹配 |
| OPD | 当前或近期学生策略生成 | 教师在学生前缀上的分布、采样或其他蒸馏信号 | 学生走入教师也难以纠正的状态；rollout、教师计算与策略滞后 |
| 常见在线 RL / RLVR | 学生 rollout | 任务、验证器或偏好给出的奖励 | 稀疏奖励、错误验证、信用分配与奖励投机 |
题目池 q→学生生成 y→教师评价每个学生前缀→更新学生↻重新采样轨迹
用一组公式说清：on-policy 和 KL 方向是两件事
q ~ D，y ~ πθ_old(·|q)，s_t = (q, y_<t)
L_OPD(θ) = E [ Σ_t w_t · D( πT(·|s_t), πθ(·|s_t) ) ]
FKL(s) = Σ_v πT(v|s) log[πT(v|s) / πθ(v|s)]
RKL(s) = Σ_v πθ(v|s) log[πθ(v|s) / πT(v|s)]
“On-policy”描述前缀来源；FKL/RKL 描述同一前缀上怎样比较分布。很多实现用学生 rollout + RKL，但这不是 OPD 的定义。上式是教学抽象：固定一批已采样轨迹进行更新；新鲜程度、token 权重、mask 和梯度估计还要看具体实现。
FKL 更惩罚学生漏掉教师有概率的选项；RKL 更惩罚学生把概率放到教师不认可的选项。它们的常见直觉不构成某一方向在所有模型上的优势保证。用全词表分布还是采样估计、是否能获取 teacher logits、词表是否一致，都影响可实施性与成本。
学生生成了错误前缀，也可以用教师监督下一步；这与把“错误答案当正确标签”不同。教师是否真的会纠错、是否传递答案泄漏、何时结束，必须单独验证。
实际研究中，建议保留哪些数据字段？
以下是实验记录建议，不是任何公司的内部 schema。
- 题目：prompt_id、来源／许可、领域、近重复簇、题目变体、train/dev/test 划分、可验证答案或工具环境。
- 生成：teacher/student checkpoint、chat template、采样温度、预算、随机种子、完整输出、工具反馈与终止原因。
- 质量：最终答案验证、格式失败、可验证步骤错误、长度、重复、截断、是否泄漏参考答案。
- 训练：rollout 所属策略版本、教师反馈类型、KL 方向、token mask、停止 token 监督、样本权重。
- 成本：生成与过滤花费、教师 token/FLOPs、学生训练、失败重试、真实延迟。高通过率筛选可能隐藏大量丢弃成本。
03
近期值得重点跟进的方向
1 · 从答案正确筛选，转向分阶段衡量数据效用
OpenThoughts的流水线消融与Simple-OPD的配对错轨迹结果共同提醒：最终正确性不是唯一可用信号。
可检验的问题
correctness、faithfulness和teacher compatibility分别预测warm-up、OPD及最终RL收益的能力有多强？
可尝试的实验（提案）
同题保留正确/错误轨迹，匹配难度、长度和教师，先测兼容性代理，再分别报告SFT后、OPD后和RL后的结果。加入faithfulness干预集但不把它混入答案指标。
目前证据
已知结果支持分离这些属性；尚无此文件提出的统一跨阶段因果结论。
尚不能下的结论
错误轨迹效果可能受teacher风格、局部正确步骤或重复题目影响，必须做配对与分层。
我关心的是一条CoT对哪个学生、哪个训练阶段有用，而不只给它一个静态质量分数。
2 · Prompt分布与动态prefix成为OPD的数据核心
密集反馈发生在学生真正访问的prefix；teacher在异常状态上也可能失准，prompt重复不是无需数据。
可检验的问题
在固定teacher评分预算下，选择哪些prompt或prefix能产生最大有效监督？
可尝试的实验（提案）
比较随机、学生成功率分层、teacher–student分布差距分层的prompt采样；区分高差距且teacher可靠、与高差距但teacher也不可靠的prefix；必要时加入逐步退出的teacher干预对照。
目前证据
TML演示prompt重用和动态评分；Guided-OPD在多轮环境验证混合课程的收益。
尚不能下的结论
高KL可能只是格式/长度失配；差距越大未必越有价值。分布选择策略需在未见题源上验证。
OPD改变的是数据生成和标注方式：仍有prompt pool，只是轨迹和监督随学生变化。
3 · 效率要同时管长度、有效探索与停止
压缩CoT与小模型OPD可能分别出现早停崩塌和不停止；单个长度均值无法解释质量。
可检验的问题
减少冗余时，如何保住纠错分支并让学生在真正解完时停止？
可尝试的实验（提案）
绘制2k/4k/8k/16k/32k预算曲线；按正确性统计长度，单列closure/truncation和最后答案准确率；受控比较stop或分支位置的监督权重。
目前证据
三个研究各自展示预算、分支与停止的不同失败模式；它们并未提供一个通用修复。
尚不能下的结论
词面wait/backtrack标记只是代理；lenient scoring可能高估可交付答案。不能把更短或更长本身等同于更好推理。
我会区分会找到正确值、会确认答案、会结束三个能力，检查效率收益来自哪一个。
4 · 蒸馏配方按下一阶段的可学习性评估
独立OPD分数最好的目标可能不是RL后最好的目标；自蒸馏中的强teacher context也可能伤害长预算。
可检验的问题
该优化什么：当前accuracy，还是后续RL在等总成本下的收益？
可尝试的实验（提案）
固定prompt、teacher和预算，交叉student/teacher trajectories与FKL/RKL；分别使用full-distribution和采样token实现；做短程共享RL，并追踪entropy、Pass@k、分布对齐和OOD。
目前证据
RL Starts的VL消融直接显示FKL/RKL排序在RL后反转；mechanism解释仍需因果干预。
尚不能下的结论
不能将VL结果宣称为所有text任务的定律；过度追求entropy也会制造无用随机性。
我会用最终训练流程的收益给CoT数据和OPD目标排序，防止中间checkpoint的分数误导选择。
5 · 公开数据配方必须经得起去污染与总成本审计
筛选、长轨迹、在线teacher评分和评测提取器都能改变表面效率；结果需要可复核账本。
可检验的问题
提升来自可迁移推理、评测重叠、提取规则，还是未计入的教师计算？
可尝试的实验（提案）
训练前冻结题源和eval；exact/fuzzy/语义近重复抽查；固定verifier并人工审计边界样本；分别报告总FLOPs/GPU-hours、wall time、tokens与teacher生成/评分次数。
目前证据
OpenThoughts公开去污染方案和verifier差异；TML明确成本口径影响倍数；Stopping主动披露题干截断及去污染范围。
尚不能下的结论
文本去重不能证明无语义污染，更不能排除teacher预训练污染；FLOPs和实际延迟不能相互替代。
我会保留从题目来源到动态teacher反馈的完整数据血缘，让性能和计算收益都能被复核。
错误teacher CoT用于warm-up、失败student rollout用于密集反馈、RL中的负奖励样本是三种不同对象；一类有用不能推出其他类别无需筛选。
已有模型的公开训练配方：CoT 与 OPD 怎样配合
以下两项是 2026 年 NVIDIA 官方技术报告，作为 10 项主文献之外的工业实例。它们披露了具体训练流程，但不代表其他公司或同品牌后续型号使用相同配方。
Nemotron 3 Ultra 550B-A55B · 2026-06-09
Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
公开披露的做法
- 学生先 SFT、再统一 RLVR，之后以多领域教师对学生自己采样的轨迹提供 token 级指导，进行 MOPD。
- 效率 SFT 用 gpt-oss-120b medium-effort 样本初始化 medium 模式；另将推理轨迹随机截断而保留答案，并屏蔽截断样本 </think> 的训练损失。
- 不同 SFT 配方的教师/学生存在分布错配；MOPD 前加入少量教师分布 SFT warmup，帮助学生轨迹进入教师可有效评分的范围。
适用条件与局限
- 作者报告 warmup 在 agentic 域有效，但 HLE 改善有限；推测学生很少采样的推理路径难仅靠 OPD 获取。
- 这是该实验下的观察及作者解释，不证明 OPD 普遍无法教新能力，也不证明全词表蒸馏普遍无效。
对 CoT 数据研究的启发
很适合回答“有 OPD 后是否仍需要高质量 CoT 数据”：数据既用来教初始行为，也用来缩小师生轨迹支持范围的差异，OPD 并未替代 SFT 数据工程。
定位：3.1.1 Data（PDF第16页）；3.3.3 MOPD Warmup（PDF第27页）；3.3.4 Results and Discussions、3.3.5 Limitations（PDF第28–29页）
Nemotron-Cascade-2-30B-A3B · 2026-03-19
Nemotron-Cascade 2: Post-Training LLMs with Cascade RL and Multi-Domain On-Policy Distillation
arXiv v1 2026-03-19；当前 v2 2026-03-22
公开披露的做法
- SFT 数学集分别纳入带 Python 工具和纯文本推理轨迹，来源包含 DeepSeek-V3.2、V3.2-Speciale 与 gpt-oss-120b 生成样本。
- Cascade RL 中用每个领域验证表现最强的中间 checkpoint 当教师；学生生成轨迹，按领域教师计算采样 token 的 log-prob 差，形成密集蒸馏优势。
- Code RL 去除 gpt-oss-120b 8 次全对的容易题，保留约 3.5K 高难且有强测试用例的题。
适用条件与局限
- MOPD 主要用来恢复先前专门 RL 阶段的能力回退；教师与学生同 SFT 初始化、同 tokenizer 的有利条件不能泛化到任意跨家族蒸馏。
- 报告指出某些 RLVR 会降低熵、缩短推理并损害数学表现；因此短 CoT 不自动等于更有效推理。
对 CoT 数据研究的启发
补充“最新工业实践已从单教师答案模仿扩展到多领域能力合并”，同时展示数据难度、验证器强度与训练阶段顺序的重要性。
定位：3.2 SFT Data Curation（PDF第7–9页）；4.4 Multi-domain On-Policy Distillation（PDF第12–14页）；4.7.1 Data Curation（PDF第15页）
arXiv 版本记录04
关键论文：读问题、方法和证据边界
优先读与数据、蒸馏和停止策略直接相关的工作；保留早期基础文献，避免把“发布时间新”当成唯一选择标准。预印本不写成顶会已发表。
本页 10 项主论文／报告，其中 6 项论文首发于 2026 年；3 项在 8–9 月首发，另有 1 项在 9 月更新版本。检索截至 2026-10-14，不声称穷尽全部新稿。
Simple-OPD：teacher-compatible CoT
Simple-OPD: Demystifying Warm-up for On-policy Distillation
arXiv 预印本；未核实会议录用
研究问题
OPD warm-up 需要正确答案，还是需要兼容后续教师的推理模式？
方法
控制有无CoT、CoT来源、同题正确/错误teacher轨迹，再比较LoRA/full SFT与warm-up时长。
作者报告的证据
同一OPD教师的配对正确与错误CoT在后续OPD中表现相近；更强外部CoT生成器并未自动带来更好初始化；适度LoRA warm-up在所测ID/OOD间更平衡。
证据边界
主要消融基于Qwen3-1.7B-Base与8B教师、数学prompt；不能推广成任意错轨迹都好、correctness无价值，或新项目已完成这些结果。
怎样转成自己的问题
我想把teacher compatibility从事后解释变成可预测的数据选择信号，并检验它是否超过correctness和长度。
打开已有完整讲义TML：动态轨迹上的密集教师反馈
On-Policy Distillation
Thinking Machines Lab 官方技术报告
研究问题
能否在学生实际访问的状态上获得比终局奖励更密集的监督？
方法
学生 rollout，教师为其采样 token 计算 log probability，以 per-token reverse-KL 估计形成训练信号；主数学案例先做 SFT 初始化。
作者报告的证据
报告数学和持续学习案例中的效果与成本优势，并做 prompt 重用实验。该博客明确未使用 full/top-k logit distillation。
证据边界
9–30倍成本说法依赖是否计入/摊销 teacher 数据生成，以及外推的 SFT 基线；不能当作跨硬件和任务通用加速比。当前 cookbook 模型已更新。
怎样转成自己的问题
比较SFT与OPD时，我会把教师生成、学生生成、教师评分、训练和验证全部计费，并同时给缓存/摊销视角。
小模型会解题，不一定会停止
Solving Without Stopping: On-Policy Distillation at Small Scale
arXiv 预印本；未核实会议录用
研究问题
长CoT知识是否包含正确结束推理的能力？
方法
Qwen3-8B蒸馏到4B/1.7B/0.6B；区分thinking/non-thinking和SFT起点；使用采样token RKL估计，拆开答案标记、正确性与闭合率。
作者报告的证据
所测thinking小学生提高解题指标却丢失停止行为；教师主要在学生已经停止的位置给出stop信号。
证据边界
主要分数为任何标记答案正确即计分的lenient scoring；appendix另有严格指标。作者披露6.3%训练题干上游截断、未针对GSM8K去污染；其经验上限不是理论能力上限。
怎样转成自己的问题
我会一起报告final-answer accuracy、closure rate、truncation rate，而不把轨迹中出现正确值视作任务成功。
RL Starts：按后续RL收益选择蒸馏
RL Starts before RL: On Policy Distillation for Better Reinforcement Learning
arXiv 预印本；未核实会议录用
研究问题
最好的蒸馏checkpoint是否也是最好的RL起点？
方法
共享下游GRPO设置比较Base/SFT/OPD→RL；在VL配对上拆分student/teacher轨迹与FKL/RKL，两种轨迹都获得full teacher distributions。
作者报告的证据
OPD初始化在后续RL取得更高最终表现，即使初始accuracy增益小；在其source–objective比较中RKL蒸馏前期更强，FKL经过RL后反超；student轨迹优于teacher轨迹。
证据边界
source–objective完整消融在VL设置，不能声称已对所有text模型验证FKL优势；共享RL配置也不等于所有前置成本已严格匹配。
怎样转成自己的问题
我会把最终OPD→RL的性能/总成本作为主要指标，初始accuracy、entropy、Pass@k只作中间诊断。
打开已有完整讲义特权答案可能压制有用探索
Rethinking On-Policy Self-Distillation for Thinking Models
arXiv 预印本；未核实会议录用
研究问题
给teacher完整正确解答，是否总能提升自蒸馏？
方法
比较teacher无特权、只有答案、完整解答的条件，跨Qwen3/OLMo thinking与instruct模型测预算曲线和token信号。
作者报告的证据
在所测thinking模型中，privileged-context distillation在长预算下降，avg@16相对降幅最高17%；完整解答比稀疏答案提示更易退化，并减少纠错/回溯标记。
证据边界
作者明确承认机制未被完全隔离为因果；主要为可验证数学，未证明所有自蒸馏或持续学习都失败，也未给出通用修复。
怎样转成自己的问题
自蒸馏要控制teacher的信息优势；我会记录哪些tokens获益或受罚，而不仅观察整段loss和平均长度。
Guided-OPD：把状态分布当作数据设计
On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents
arXiv 预印本；未核实会议录用
研究问题
学生越偏离teacher熟悉状态，teacher反馈是否反而越差？
方法
多轮轨迹中按turn混合teacher/student生成；teacher介入概率逐步降到零；teacher turns和student turns使用不同蒸馏目标。
作者报告的证据
ALFWorld、ScienceWorld、WebShop上的Qwen3实验优于vanilla OPD，报告平均相对Score提升21.1%、Success Rate提升25.5%。
证据边界
早期为混合轨迹，不是全程纯student on-policy；多轮agent环境结论不能直接视为单轮数学CoT的已证结果。
怎样转成自己的问题
数据设计不只发生在训练前，也发生在每次rollout选择谁生成下一段时。
OpenThoughts：数据流水线需要控制实验
OpenThoughts: Data Recipes for Reasoning Models
ICLR 2026（官方会议录已核实）；本文实验细节引用 arXiv v2
研究问题
题源、题目筛选、生成、答案筛选各自贡献多少？
方法
1000余项控制实验拆解流水线，最终构建约120万条 OpenThoughts3。
作者报告的证据
所测题源混合并非越多越好；代码受益于难度筛选，数学/科学受益于基于生成长度的题目筛选。Appendix H 中部分 correctness/自动单测筛选未改善下游；更换答案提取器显著改变报告分数。
证据边界
筛选器、学生与任务特定；并未证明正确性验证无用，也未证明所有多样性都有害。长度用于挑题，与机械删短/截短 CoT 不同。
怎样转成自己的问题
我会同时控制题目数量和训练 token，并审计 verifier 的误判；避免把筛选后的数据量变化解释成质量增益。
Art：难度与负轨迹决定有效信号
The Art of Efficient Reasoning: Data, Reward, and Optimization
arXiv 技术报告；未核实会议录用
研究问题
压短CoT时，如何避免学成短但错误？
方法
统一协议比较prompt难度、rollout数、负样本奖励/掩码，并在2k–32k多预算评估。
作者报告的证据
其长度奖励设置下，全难题训练会因正向信号稀疏而出现崩塌；更多rollout在数学上帮助寻找短且正确路径，但代码收益有限；短预算优势可能伴随长预算性能损失。
证据边界
这是长度奖励RL研究，不应将其所有结论直接当成OPD结论；易题优越也依赖奖励、模型和阶段。
怎样转成自己的问题
我会看正确/错误条件下的长度分布和多预算曲线，区分学会简洁推理与仅学会早停。
打开已有完整讲义正确、可用、忠实是不同属性
Reasoning models don't always say what they think
Anthropic 官方研究报告及论文
研究问题
答案正确且 CoT 看起来合理，是否代表推理忠实？
方法
注入会影响答案的提示，检查模型是否在 CoT 中承认使用；另研究 outcome RL 与可被利用的奖励捷径。
作者报告的证据
Claude 3.7 Sonnet 与 DeepSeek R1 在采用提示后，经常没有在 CoT 中提及它；outcome RL 带来的 faithfulness 改善会停滞。
证据边界
提示依赖披露只是可操作的 faithfulness 测试，不是对模型全部内部计算的测量；任务和模型覆盖有限。
怎样转成自己的问题
我会分别报告答案正确率、学生训练增益和干预后的忠实性指标，避免用一个 quality 分数代替三者。
AKL：把采样分布与散度目标分开
Rethinking Kullback-Leibler Divergence in Knowledge Distillation for Large Language Models
COLING 2025（官方会议录已核实）
研究问题
为什么不能简单用 mode-seeking / mean-seeking 判断 LLM 蒸馏目标？
方法
分析并比较 FKL、RKL 的优化行为，以自适应权重组合二者。
作者报告的证据
文中在其 KD 设置下发现早期 FKL 更关注分布头部、RKL 更关注尾部；AKL 在所测任务上改善质量与多样性。
证据边界
不能把特定 KD 分析泛化为所有 KL 优化都不存在 mode-seeking 行为；更不能据此把 on-policy 与 RKL 画等号。
怎样转成自己的问题
我会把轨迹由谁生成、教师提供何种监督、使用哪个散度作为三个独立轴来设计实验。
Rethinking Kullback-Leibler Divergence in Knowledge Distillation for Large Language ModelsCOLING 2025 official proceedings record
打开已有完整讲义05
把兴趣变成一个可检验的问题
建议优先收窄的问题：在固定学生、教师和总训练预算下，怎样选择 CoT 初始化与学生轨迹监督，才能兼顾最终正确率、结束行为和后续 RL 收益？
本节是待验证的实验设计，不表示当前港大项目已经开展这些实验。先按实际资源选一条主线，避免一次同时改数据、损失和 RL 算法。
| 阶段 | 建议对照 | 能回答什么 |
|---|---|---|
| A · 数据兼容性 | 同一题目池：普通离线 CoT / 学生可学习性筛选 CoT / 匹配长度与领域的随机筛选 | 收益来自筛选信号，还是只是换了难度、长度或训练量？ |
| B · 学生轨迹 | 同一初始化：继续离线训练 / OPD；分别给出同样更新步数与匹配总计算两种比较 | 学生前缀监督是否有独立收益？教师成本是多少？ |
| C · 停止行为 | 标准 OPD / 明确处理停止边界的候选方法；分模型尺寸统计 | 会解题但不会停是否是主要失败模式？候选方法会不会使难题过早结束？ |
| D · 后续 RL | 选两种初始化，固定 RL 数据、奖励和预算；画完整学习曲线 | 蒸馏当下得分与后续 RL 可提升性是否一致？ |
三张关键图，加一个失败案例
质量—成本曲线
横轴分别使用推理 token 和真实延迟，纵轴使用可实现的答案正确率。报告误差范围，不把多个论文各自最好的点直接相连。
结束行为与困难题切片
展示截断率、最终答案有效率、长度分位数和不同难度的正确率。把自然停止与达到上限分开，检查“变短”是否只是提前放弃。
相同后续 RL 预算的学习曲线
展示训练开始、过程和结束；同时列出获得初始化的成本。仅比较相同 RL 步数，不能宣称端到端更省算力。
一个可信的失败案例
选一例学生错误前缀或过度思考，说明教师信号、更新后行为和仍未解决的问题。区分展示例与总体统计。
展开：测评协议与实验记录要点
- 明确终点：同时标SFT后、OPD后、RL后；主指标选择应事先决定。
- 公平数据控制：同prompt split；按题去重，配对正确/错误CoT；分别控制样本数、有效训练token和总计算。
- 来源与许可：记录题源版本、生成器/teacher版本、生成参数、上游许可；论文license不代替dataset/model license。
- 动态数据血缘：保存学生checkpoint ID、rollout采样参数、prefix、teacher context、teacher反馈格式与采样时间。
- 监督实现：full vocabulary vs top-k vs sampled token；温度、logit截断、尾部质量、不同tokenizer处理、stop和环境token masks。
- policy freshness：rollout由哪个checkpoint生成，复用多少次，importance weighting/clipping和policy lag是否一致。
- 数据污染：prompt与response均去污染；近重复和题目变体抽查；使用独立题源/时间外推测试，承认无法消除teacher预训练污染。
- 验证器审计：固定答案提取、符号等价/单测与judge版本；人工检查假阳性、假阴性、格式失败和题干截断。
- 质量分轴：分别测最终正确性、受控faithfulness、训练效用；不能用LLM judge的可读性替代因果有效性。
- 长度与结束：多预算accuracy；correct/incorrect条件长度；最后答案准确率、closure、truncation、重复及有效token成本。
- 探索与恢复：固定采样预算的Pass@k/avg@k；错误prefix后的恢复率；高熵分支与纠错token的监督符号；不以marker次数直接证明能力。
- 跨域与尺度：至少一个OOD任务/题源和第二种学生规模；区别base/instruct/thinking、teacher强度与兼容性。
- 统计不确定性：按题bootstrap置信区间；训练随机种子；对小样本AIME不只报单次百分比；固定checkpoint选择规则。
- 成本账本：题目筛选、teacher生成、student rollout、teacher评分、训练更新、verifier/环境、失败重试和评估分别列账；报告缓存/摊销前后两套口径。
- 可复现边界：冻结模型与依赖版本；披露API不可复现性、训练/验证共享、额外超参数搜索与未公开资源。
另一个更聚焦的起点：兼容性是否能预测 CoT 数据价值？
研究提议，尚未执行；不得写成用户已有结果
假设
在固定student、OPD teacher和总预算下，warm-up数据的兼容性指标是否比correctness更能预测OPD后及短程RL后的收益？
第一轮对照
从去污染prompt pool取小规模分层子集；对同题收集OPD teacher的correct/wrong CoT，并以难度和长度配对。先运行无warm-up、配对correct、配对wrong、混合四个起点，使用相同LoRA预算与后续OPD。确认存在稳定效应后再扩展外部teacher和FKL/RKL，避免第一轮同时扫所有维度。
候选指标
teacher在固定held-out student prefixes上的NLL/JS或top-k overlap、支持度、stop与纠错位置的信号；这些是待验证代理，非质量真值。
什么结果会推翻假设
若兼容性指标在控制长度/难度后无预测力，或换学生/题源后不稳定，则不能宣传通用筛选器；若收益仅来自format/closure，也应将结论限定于行为对齐。
资源有限时的取舍
先做数据和测量审计，再做四组pilot；不要以未经验证的大规模生成替代清晰假说。
数据划分先做，再生成变体。按原始题目家族与近重复簇划分，避免同一道题的改写进入训练和测试两端；过滤、超参数和停止阈值使用开发集。未知闭源教师的预训练污染无法完全排除，应说明可控边界。
06
港大在研项目：怎样讲得清楚且经得住追问
已确认：博士阶段在港大与其他团队合作开展 CoT 方向研究，论文仍在撰写。具体任务、方法、个人分工和实验结果尚待补充。因此以下提供讲述结构，不替你补造结果。
候选题目：面向高效推理的 CoT 数据与策略蒸馏研究（进行中）。
若实际项目未涉及 OPD，可改为“面向推理能力提升的 CoT 数据研究”，把 OPD 放在相关工作或下一步计划中。只有确实开展了成本／长度研究，才使用“高效推理”。
90 秒开场：用自己的事实替换方括号
我目前在港大与合作团队开展 CoT 方向研究，论文仍在撰写。我们关注的是［具体模型与任务］中［一个可观察的失败现象］。我的主要工作是［本人负责的模块与决策］。
围绕这个问题，我们比较了［实际已跑的基线］，并尝试［已经实施的方法］。目前完成了［可公开的实验阶段］；在［协议与条件］下观察到［真实结果或失败现象］。这个证据支持［有限结论］，但［尚未排除的解释］还需要验证。
下一步我会用［一个关键消融或泛化测试］判断收益究竟来自哪里。该项目与我此前的蒸馏和后训练经历相连，也让我更关注数据、学生策略和计算预算之间的关系。
如果还没有可信实验结果，就明确说正在建立基线／数据流程，并讲清已完成的具体产物和实验判据；无需暗示已经“显著提升”。
10 分钟汇报：7 页就能形成完整研究故事
- 问题与场景（1 分钟）：目标模型、任务、实际失败例；为什么现有做法不足。
- 最相关的两条路线（1 分钟）：静态 CoT 与学生轨迹监督分别解决什么；不要用论文列表代替比较。
- 核心假设（1 分钟）：给出可被实验推翻的一句话，明确变量和预期行为。
- 实际方法／数据流程（2 分钟）：画数据从生成、筛选到训练的流向；用颜色标记个人负责的模块。
- 已完成证据（2 分钟）：基线、比较条件、统计范围、成本；结果不完整就展示真实中间产物。
- 失败与局限（1 分钟）：一个反例和一个尚未排除的混杂因素。
- 下一步与岗位连接（2 分钟）：最关键的实验、成功／失败判据，以及对后训练或部署有什么意义。
汇报前的证据表：哪些已经完成，哪些仍是假设？
| 栏目 | 需要填入的证据 | 当前公开状态 |
|---|---|---|
| 问题 | 任务、学生模型、失败分布、为何值得研究 | 仅确认 CoT 方向 |
| 个人贡献 | 设计、实现、分析、数据或实验具体由谁负责 | 待补充 |
| 已完成工作 | 实验记录、数据统计、可运行代码或稳定基线 | 待补充 |
| 观察到的结果 | 协议、数值、误差、成本、失败切片 | 待补充 |
| 论文状态 | 真实稿件状态与可披露范围 | 撰写中，未据此声称投稿／接收 |
07
面试中最容易被追问的六件事
你做CoT数据，为什么会关心OPD？
离线CoT决定warm-up把学生带到哪些状态；OPD再在学生自己的prefix上提供教师反馈。两者连接处的兼容性，可能比静态正确率更能解释最终收益。这个命题需要配对数据和跨阶段实验检验。
更强teacher和正确轨迹为什么不一定最好？
更强是最终任务能力；更适合监督学生还取决于prefix分布和信息条件。Simple-OPD提供teacher来源的实验证据，privileged self-distillation给出信息过强可能失配的反例。不能据此反过来说弱teacher总更好。
on-policy就是reverse KL吗？
不是。on-policy描述轨迹/状态来自学生当前策略；FKL、RKL描述同一状态上如何匹配分布。RL Starts在student轨迹上比较两者，且后续RL会改变优劣排序。
OPD既然不需要正确答案，还需要什么数据？
至少需要任务prompt或环境、动态student rollouts与teacher反馈。若有warm-up，还需要相应离线CoT；若接RL，还需要可验证结果或其他奖励。无需逐条人工答案不等于无需数据。
如何证明你的数据筛选有效？
固定学生、teacher、训练流程与计算预算，对题目配对和长度/难度分层，在独立题源报告最终表现、统计区间与成本，并看筛选是否只是改变格式、停止或提取器适配。
论文还没写完，你已经做了什么？
按个人职责回答：已实现的流程、稳定的基线、已完成的对照、得到的观察，以及由此改变的研究决策。把“团队正在研究”“我亲自完成”“下一步计划”分别说清。没有最终提升数字时，用可核验的中间产物说明进展。
08
原始资料与建议阅读顺序
建议顺序：先读 Simple-OPD 与 OPD 官方技术报告 → Solving Without Stopping → RL Starts before RL → 数据构建与 faithfulness → 根据项目选择压缩、自蒸馏或工具任务。读完每篇，写出“控制了什么变量、尚未证明什么”。
没有匹配资料，请换一个关键词。
Rethinking Kullback-Leibler Divergence in Knowledge Distillation for Large Language Models
核验版本全文COLING 2025 official proceedings record
OpenThoughts: Data Recipes for Reasoning Models
核验版本全文OpenThoughts official project and releases
Reasoning models don't always say what they think
核验版本全文On-Policy Distillation
Model Distillation — Tinker Cookbook
当前文档已使用 Qwen3.5-9B 系列；不可把当前 recipe 的分数与2025博客的 Qwen3 实验混成同一运行。
Simple-OPD: Demystifying Warm-up for On-policy Distillation
核验版本全文The Art of Efficient Reasoning: Data, Reward, and Optimization
核验版本全文RL Starts before RL: On Policy Distillation for Better Reinforcement Learning
核验版本全文Solving Without Stopping: On-Policy Distillation at Small Scale
核验版本全文Rethinking On-Policy Self-Distillation for Thinking Models
核验版本全文On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents
核验版本全文s1: Simple test-time scaling
补充阅读，不计入10项主文献；首发2025-01-31，v3为2025-03-01。s1K的难度、多样性、质量与budget forcing是小数据锚点。
核验版本全文OpenThoughts — ICLR 2026 official proceedings
Reasoning Models Don't Always Say What They Think
arXiv v1为2025-05-08；早于此的Anthropic官方报告日期为2025-04-03。
Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
型号：Nemotron 3 Ultra 550B-A55B；报告日期：2026-06-09；定位：3.1.1 Data（PDF第16页） / 3.3.3 MOPD Warmup（PDF第27页） / 3.3.4 Results and Discussions、3.3.5 Limitations（PDF第28–29页）
Nemotron-Cascade 2: Post-Training LLMs with Cascade RL and Multi-Domain On-Policy Distillation
型号：Nemotron-Cascade-2-30B-A3B；报告日期：2026-03-19；定位：3.2 SFT Data Curation（PDF第7–9页） / 4.4 Multi-domain On-Policy Distillation（PDF第12–14页） / 4.7.1 Data Curation（PDF第15页）