从监督信号到高效推理

直观讲解

教师输出虽有整体知识，其单个预测仍可能错误。监督 CE 要提高真实类别概率，而错误教师的 KL 可能反向指导。作者称其为 mis-instruction。目标是在修正预测方向的同时保住非目标类别中蕴含的 dark knowledge。

关键机制

p 为教师 softmax 概率；g 为真值类别；p_m=max_i p_i。仅当教师 top-1 不等于 g 时校准。

正确预测保持不变；把校准后的教师分布代入原有 KD（KL 与 CE 组合）。归一化及非目标类别比例均保留，无新增可学习参数。α 越接近 1，目标与最大非目标之间的强制间隔越小。论文称 logit calibration，但推导中的 p 是概率，面试不要把概率缩放混同于原始未归一化 logit 缩放。

带条件的代表结果

边界与需要核对的条件

• 分析性边界：方法依赖可信真值。噪声标签或生成任务的一对多合理答案会削弱强制参考 token 为最高概率的合理性。
• α 是目标类别与最大非目标类别的间隔控制，具体最佳值依赖设置；不要把固定 α 当作无条件最优。
• 与 Simple-OPD 的错误 CoT 结果并不冲突：一个校准逐 token/类别蒸馏目标，一个研究后续 on-policy 训练的行为初始化；不能推出错误监督一般有益。

面试问答

为何不丢弃错误教师样本？

会同时丢失有用的非目标类别比例信息；LoCa 的设计目标是保留这些信息。

为何不交换真值和最大类别的概率？

交换改变非目标类别之间的相对比例；统一缩放则保持它们。

与其他工作的区别

唯一直接改变教师目标分布的一篇；可以在概念上与损失选择或参数效率方法组合，但不能声称未报告的组合已有实验验证。

一手来源

• 1. arXiv 版本记录
• 2. 论文全文
• 3. 论文 PDF

直观讲解

FKL/RKL 的渐近最优解不足以解释实际蒸馏的有限步数差异。作者把差异定位于教师概率分布头部与尾部的早期拟合速度，提出按当前未拟合误差调整优化侧重。

关键机制

p 为教师、q 为学生在相同 prefix 上的 token 分布。H 为按教师概率降序累加达到阈值 μ 的头部集合；论文默认 μ=.5。

头尾差异决定两个完整词表 KL 的权重；不是仅在 H 上算 FKL、仅在尾部算 RKL。作者代码对用于权重的学生概率 detach，避免权重本身的反向传播改变目标解释。

理论条件：p=q 的结论针对可自由优化、正概率的每个上下文 logits。共享神经网络参数和有限容量可能无法同时实现所有上下文的 p=q，因此不能据此声称所有 FKL/RKL 训练的最优参数和动态完全一致。

带条件的代表结果

边界与需要核对的条件

• 作者明确未验证 70B 等更大模型；主要实验证据来自 GPT-2 和 LLaMA-6.7B 教师，不能声称规模普适。
• 需要教师完整 token 分布并计算词表头尾误差；tokenizer 对齐和完整分布开销是扩展到异构或黑盒教师时的问题。
• 论文以累计质量至少 μ 定义最小头部；作者代码用 cumulative_sum > μ 的掩码并保证首项进头部，阈值跨界 token 的归属有细小差异。重现实验时应明确采用论文还是代码实现，并处理总误差接近零的数值稳定性。

面试问答

为什么高斯 mode-seeking 图示不能直接代表离散词表蒸馏？

应解释分布参数化和可达解空间，再讨论有限训练动态，不能仅回答因为是离散分布。

为什么不用固定等权？

表 1 的直接对照支持自适应权重进一步提升；但幅度远小于只与 FKL 比较的提升。

为何 detach 权重？

让权重描述当前误差而不允许模型通过操纵权重降低目标；论文公式和代码实现应分别说明。

与其他工作的区别

保留教师分布和学生参数化，改变分布距离的动态权重；LoCa 改目标、LLM-NEO 改参数、ProFit 改参考监督掩码、Simple-OPD 改训练起点。

一手来源

• 1. ACL Anthology 正式记录
• 2. 正式论文 PDF
• 3. 作者代码 / 项目

直观讲解

把监督来源和可训练参数化拆开：SFT/LoRA 的硬标签信息与 KD 的教师软分布是不同维度，低秩参数更新也可以接收 KD 信号。

关键机制

对学生低秩更新应用标签和教师软分布的联合目标，减少需训练参数及其梯度/优化器状态。合并增量后保留原学生尺寸。论文以 L_KL(z_t,z_s) 表示 KL，方法重点并非新散度。

训练参数：§3.2 搜索 rank={2,4,6,8,16,32,48,128,256} 和学习率 {1e-4,2e-4,5e-4,1e-3}；§3.3 采用 rank 128、初始 lr 2e-4。更高 rank 通常更强，但通常需要较低学习率；不能把这一趋势当无条件规律。

带条件的代表结果

边界与需要核对的条件

• 表中 GPU memory 是论文报告值，不应解释成单张 GPU 用量；231G 不是一张 40G GPU 的占用。
• 作者局限包括模型家族/参数高效方法覆盖有限；不能把少数设置的性能与成本比例泛化。
• §3.1 写 10,000 条 InfinityInstruct、约 5M tokens；§3.2 rank 搜索写 100,000 条；§3.3 主比较写 50M tokens。不同阶段存在样本量表述差异。引用表 2 时应随 §3.3 记录 50M tokens，并在复现前澄清 §3.1 的关系，不将 10K 条无差别套用于全部结果。

面试问答

是否只是 LoRA+KD？

应坦诚机制就是将已有软监督和低秩更新结合，论文价值主要在统一视角、调参规律和成本/性能实证；不要包装为全新 KD 散度。

减少哪些显存？

学生可训练参数的梯度/优化器状态减少；教师权重和前向、学生基础权重与激活仍有成本。

rank 太低为什么可能失败？

限制更新子空间与知识迁移容量；rank 太高削弱参数效率并改变合适学习率。

与其他工作的区别

唯一主要改变 KD 可训练参数的一篇。与 Simple-OPD 虽都用 LoRA，但 NEO 的低秩更新承担蒸馏本身，Simple-OPD 的低秩更新仅准备后续 OPD 的初始行为。

一手来源

• 1. arXiv 版本记录
• 2. 论文全文
• 3. 论文 PDF
• 4. 作者代码 / 项目

直观讲解

SFT 单一参考序列对多种有效响应实施排他式监督，可能过度压制表达多样性。低概率目标 token 通常引发较强的更新，而这些 token 并非都携带任务核心信息。作者用可廉价计算的模型概率代理监督价值。

关键机制

概率来自当前训练中的学生，使用完整参考 prefix；掩码每步随模型更新，阈值固定。只屏蔽损失，并未从输入中删掉低概率 token。训练本身不需额外教师；§4.1 用 Gemini-3-pro 标注语义 token 是诊断分析，不是 ProFit 训练必需组件。作者仓库示例 τ=.1，但不能据代码示例推断所有表格配置均相同。

理论条件：§4.3 在局部 Jacobian 满行秩且最小奇异值至少 γ>0 的假设下，给出 ||grad_theta ell|| >= gamma(1-p_y)。这是下界；仅比较下界不能证明任意两个 token 的实际梯度范数必定按概率反序。

诊断证据：§4.1：Qwen3-4B-Base 的 core/trivial token 平均概率 .768/.485，统计检验 p≈1e-6。这是所分析数据上的相关性，不是高概率与重要性普遍等价的证明。

带条件的代表结果

边界与需要核对的条件

• 阈值固定、mask 在线变化；应区分静态阈值与动态 token 选择。作者承认阈值没有按样本难度自适应。
• 对梯度定理的条件和结论保持精确，避免将相关性和下界解释为语义因果证明。

面试问答

为什么选高概率而不是难 token？

作者的解释是避免不必要的大幅分布迁移，优先保留所研究任务的核心监督；高概率本身并不意味着每个 token 都更重要。

高阈值的代价是什么？

§6.1 中 GPQA 可能下降，长尾实体通常低概率；创作/多样性任务的重要 token 也可能低概率。

训练信号更少为何有效？

减少某些不必要的分布迁移，而非增加教师知识；需要结合基座能力与数据规模回答，弱模型/全新知识可能不同。

与其他工作的区别

改变 SFT token 的损失掩码，不校准教师、不引入 KL、自身不要求 LoRA，也不是 OPD。与 Simple-OPD 的共同点是关心已有能力与后续训练的兼容，但作用位置不同。

一手来源

• 1. ACL Anthology 正式记录
• 2. 正式论文 PDF
• 3. 作者代码 / 项目

直观讲解

OPD 在学生产生的轨迹上查询教师，师生推理行为和前缀分布兼容性影响监督质量。过往常把 SFT warm-up 当成例行步骤，本文分解 CoT 来源、正确性、更新容量、预热长度四个因素。

关键机制

• 从下游 OPD 提示分布采样，用同一个教师生成 CoT。
• 进行受限容量的 LoRA SFT 预热，选择接近饱和的训练时长；分析使用 rank 16/32/64 等低秩设置。
• 将 adapter 合并成初始化检查点，继续原有 OPD；Simple-OPD 不要求替换 OPD 的散度或其他核心目标。

配置口径：附录 A：warm-up batch 16，全量 SFT lr 5e-6、LoRA lr 5e-5；OPD global/minibatch 128、每提示 rollout 1、prompt 2048/response 8192、温度 1、lr 1e-6。配置中的额外 KL regularizer 系数 0 不能误读为没有蒸馏 KL。

消融的适用范围：§3 消融的学生为 Qwen3-1.7B-Base、教师为 DAPO-Math17K 上训练的 Qwen3-8B-Base，75 步 OPD；这不是表 1 的 4B 教师设置。正确/错误 CoT 的下游四数学任务均分约 35.2–36.5；结论应限定在这里。同教师 CoT 优于异来源 GPT-5.5 CoT 的比较不能归因于教师质量单一因素。

带条件的代表结果

边界与需要核对的条件

• 效率比较应包括教师 CoT 生成、warm-up 与 OPD 的总成本；仅后续 OPD 更快或更少步不等于端到端省算力。
• 实证主要是小型 Qwen 系列和数学任务；作者明确需要更广泛规模/领域验证。

面试问答

为什么错误 CoT 也能帮？

支持行为/轨迹兼容在这个预热阶段有作用，但尚不证明纯格式是唯一原因，也不证明错误 token 在最终目标中有益。

为什么不用最强外部教师生成预热数据？

教师风格/路径与后续 OPD 教师的兼容性可能比独立解题质量更关键；要考虑长度、格式和难度等混杂因素。

为什么低 rank 与适量时长有效？

容量约束可限制对原有能力的破坏；过长或全量预热可能过拟合教师数据而损伤 OOD。具体 rank/步数不能跨模型照搬。

与其他工作的区别

改变训练起点。它的 LoRA 用于 SFT 预热，LLM-NEO 的 LoRA 则用于 KD 本体；错误 CoT 初始化结论与 LoCa 的目标纠错分别作用于不同阶段。

一手来源

• 1. arXiv 版本记录
• 2. 论文全文
• 3. 论文 PDF
• 4. 作者代码 / 项目

直观讲解

把Base当作学习新任务的代理：在Base上学增量，再把同一增量加到已有Instruct上。

Instruct虽善于遵循指令，继续对小规模任务数据SFT可能收益很小甚至退化；配对Base缺乏现成对齐行为，但可能更容易吸收新任务。论文发现Base/Instruct权重相近，尝试分离学习增量的位置和执行任务的骨干。

关键机制

1. 需要同一架构、对应参数坐标的Base与由它得到的Instruct。先用普通Full-FT或LoRA训练Base，得到W_B^+。
2. 计算ΔW=W_B^+-W_B，再形成W_I^+=W_I+ΔW；LoRA时可以把在Base上训练得到的低秩分支合并进Instruct。部署是一个模型，没有双模型推理。
3. 与Chat Vector的参数算术可等价重写为W_B^+ +(W_I-W_B)；论文贡献应表述为针对Instruct继续调优退化的观察、训练路径选择和实证，而不是声称首创所有task-vector加法。
4. 图5给出Qwen3-8B LoRA训练的loss/gradient动态作为机制证据，但这是经验解释，不是权重近似即可保证增量可迁移的定理。

带条件的代表结果

边界与需要核对的条件

• 须有真正配对的Base权重，作者在当时版本举Qwen3-32B、Qwen3-Next缺少Base为局限。
• 权重差小不代表函数差小，也不保证任何训练数据/步数/增量尺度都可迁移；需要验证保留指令遵循和安全对齐能力。
• 训练步数和可训练参数不新增，不等于完全没有工程成本：仍须保存、加载Base/Instruct并做一次权重合并。

面试问答

为什么不直接用调优后的Base？

Base能学到任务但缺少Instruct已有的对齐/行为能力；将更新移植到Instruct，希望同时保留其现有能力。

为什么权重接近就能加？

坐标匹配使运算定义成立，权重相近给出局部兼容动机；有效性仍是实证，不能从σ小直接推导性能改善。

个人贡献如何说？

这里仅核验论文内容，不能由共同一作推断本人负责方法、实现或实验；需用户补充自己实际分工。

一手来源

• 1. 论文全文
• 2. 论文 PDF
• 3. 作者代码 / 项目

直观讲解

对Base→Instruct的权重增量做谱分解，保留主要方向、减弱尾部方向，尝试恢复探索而保住一次回答能力。

后训练把概率集中到高回报回答，可能提升Pass@1却限制大k下的探索。论文用Base/Instruct权重的有效秩近似不变作为动机，希望无需新数据和梯度训练，部分回退后训练更新。

关键机制

1. 对每个线性层计算ΔW=W_I-W_B，而非直接分解完整W_I。
2. SVD得到ΔW=U diag(σ_i)V^T；按奇异值由大到小排列，令K=ceil(eRank(ΔW))。保留前K个，剩余乘λ。
3. λ=0为Timber-L；0<λ<1为Timber。只处理线性层权重，不处理bias或norm。主实验从{0.2,0.5,0.8}选择λ，正文说按AIME'24选择。
4. 与全局插值W_B+μΔW不同：Timber只衰减尾部奇异方向，而非均匀缩放所有后训练更新。它本身不减少最终模型参数量或推理FLOPs。

带条件的代表结果

边界与需要核对的条件

• eRank只是谱的一个标量；相同eRank不能推出奇异向量、子空间或功能相同。可以左乘/右乘正交矩阵保持谱而转动子空间。把‘后训练浅层’称作启发或经验假说。
• 需配对Base；SVD存在离线计算成本，training-free不代表零计算。
• 有验证集/λ选择，部分单项可能下降；尾部小奇异值不天然等于无用或噪声。

面试问答

为什么处理ΔW，不直接压缩W？

想调整后训练带来的行为变化而尽量保留Base骨干知识；目标是行为细化，非模型压缩。

Pass@k提升说明什么？

在相同采样配置与预算下，能采到正确候选的覆盖更广；仍需筛选候选，不能等价成日常单次回答一定更好。

一手来源

• 1. 论文全文
• 2. 论文 PDF
• 3. 作者代码 / 项目

直观讲解

不用新训练，直接混合快思考与长思考模型的参数；重点发现性能并非随混合比例线性变化，而有三段行为。

Thinking模型可靠但CoT长，Instruct通常短而快；复杂合并方法不一定必要。研究最简单权重插值能否获得可控的准确率—token成本折中，并分析行为如何出现。

关键机制

1. 使用同架构、参数坐标兼容的Qwen3-4B-Instruct-2507和Thinking-2507，30B-A3B亦同；离线逐参数线性插值，部署单模型，无需同时运行两个模型。
2. Qwen3-4B的λ<0.4：输出变长、Pass@k上升但显式think模式很少，Mean@k不一定同步涨；0.4–0.6：think模式快速出现、Mean@k显著上升；λ>0.6：token继续增加但收益递减。
3. 阶段阈值依模型改变，30B-A3B第二段约0.5–0.8。λ调的是模型整体倾向，不是按每题精确保证输出token预算。
4. 显式thinking用是否出现</think>测量，这是格式代理，不能据此证明不存在内部推理。

带条件的代表结果

边界与需要核对的条件

• 需要对齐的参数坐标和相同架构；不能把独立随机初始化模型随意相加。
• 主要证据来自Qwen3，虽附录有Llama例子，三阶段阈值不是普适常数；正式版Limitation仍以Qwen3为主要范围。
• 超参数选择需要评测集；必须区分训练免费与选择免费，并避免用最终测试集反复选λ后宣称无偏收益。

面试问答

你的新意是什么，线性插值不是已有吗？

不是首创插值公式，而是系统揭示三段性能动态，用多指标区分覆盖、单次可靠性和成本，再验证简单策略可竞争复杂合并方法。

为什么不把λ固定0.5？

不同模型的行为转变位置不同；需要在独立验证集按实际质量/token约束选点，而非机械平均。

一手来源

• 1. ACL Anthology 正式记录
• 2. 正式论文 PDF
• 3. 论文全文
• 4. 作者代码 / 项目

直观讲解

二值权重只能取正负状态，容易把近零连接也强行放大；重新预训练三值模型又很贵。PTQTP 的思路是用两张能相互补偿的三值平面，兼顾表达力与加减、查表执行。

关键机制

1. 把每个权重近似为 α₁t₁+α₂t₂，其中每个 t 都可取 −1、0、1。第二平面负责补偿第一平面遗漏的细节，0 状态允许关闭不必要连接。
2. 每 128 个权重为一组。固定平面时，求解 2×2 岭回归得到两个缩放；固定缩放时，对每个权重枚举 9 种三值对并选重建误差最小的一种。
3. 按条件数自适应调整正则，最多 50 次迭代；主配置停止阈值 10⁻⁴，不需要任务校准或训练微调。
4. 推理将激活与小块三值模式的部分和预存到 LUT。查表和加减减少乘加开销，但缩放和网络其他模块仍有算术操作。

带条件的代表结果

边界与需要核对的条件

• 实际线性层存储式(16)：M=2*n*d*2+ceil(d/G)*2*n*16 bits；若G整除d，则4+32/G=4.25 bits/weight。1.58=log2(3)只是单个三值符号的理论信息量。
• LUT利用固定小块权重模式复用激活部分和；本质是把部分乘加转为预计算和查表，不能说整个网络没有乘法。
• QAT对照中的BitNet模型有不同预训练、参数规模和表示预算，只能作为能力/成本参照，不能解释为控制变量证明PTQ一定优于QAT。
• 速度4.63倍的证据仅为该Llama2-7B/RTX3090/批量1设置；不得外推成所有Llama3、Qwen3均4.63倍。

面试问答

为什么需要岭正则？

两个平面可能近共线，尤其同sign初始化，S^T S可能病态；正则稳定2×2求解，过强又会缩小系数造成偏差。

为什么无激活校准也能工作，代价是什么？

直接最小化权重重建误差，部署简单；但权重Frobenius误差不是激活加权输出误差，对高敏感方向没有明确任务感知保护。

与其他工作的区别

与 LieQ 的层级精度分配不同，PTQTP 改变权重表示；与 FluxBin 不同，它采用统一三值平面而不另设重要列残差分支。

一手来源

• 1. 论文全文§2.1–2.3; §4/Table 5; Appendix B Eq.(16)
• 2. 论文 PDFPDF p3–4 method, p8 speed, p13 actual storage

直观讲解

模型文件变小，并不保证推理变快：反量化、重复浮点运算和重要权重的稀疏访存，都可能吃掉收益。FluxBin 同时设计权重表示与 CUDA 内核，让压缩位流可以直接用于执行。

关键机制

1. 以若干二值基近似权重，每个基同时有行缩放和列缩放。交替最小二乘求缩放，联合枚举二值符号，而非只做贪心残差分解。
2. 用校准激活估计 Hessian，按列重要度在每组 128 列中选 8 或 16 列；为这些列额外拟合残差基。默认校准样本数为 256。
3. 将列缩放融入激活 LUT 构建。每个 μ 位二值权重模式就是表地址，读取部分和后再做行缩放与累加。
4. Virtual Columnar Mapping 将逻辑稀疏的重要列存为物理连续矩阵，同时收集对应激活和缩放，复用全局分支的 GEMV 内核。主配置 μ=8，LUT 有 256 种局部模式。

带条件的代表结果

边界与需要核对的条件

• 二值算法未必自动加速：需要压缩位流直接索引LUT，避免先解压到FP16再调用常规GEMV。
• 行列缩放让一个二值基的幅值更灵活；列缩放若逐权重重复执行会很贵，必须在LUT构建阶段与激活融合。
• LUT大小含2^mu项，mu=8意味着256种模式；较大mu降低查表次数却提高共享内存占用，可能降低occupancy。
• hybrid结构提供精度，但需salient输入gather和额外LUT分支；VCM解决存储/执行不规则，不是让保护分支免费。
• 不要把nvidia-smi GPU util接近100%解释成浮点算术单元利用率100%；正文明确它是device-busy fraction。

面试问答

如果给更多校准样本一定更好吗？

论文表7中256样本平均准确率58.77%，1024样本58.07%，作者解释为Hessian对校准分布过拟合；应进一步验证分布和随机种子，不能只凭一次曲线断言普适规律。

为什么不在所有权重上用更多二值基？

每多一个基都会增加存储、LUT构建与读取；把额外容量集中到Hessian判定的重要列，获得更有利的精度/成本折中。

与其他工作的区别

这是五篇中最直接的算法—内核协同工作。二值分解负责表达，重要列保护负责质量，LUT 与连续布局负责把理论压缩转成实测速度。

一手来源

• 1. 论文全文§3 Eq.(3–14), §4/Table1, Appendix C.2/E.1 Table8
• 2. 论文 PDFPDF p3–5 method; p7 Table1; p19 Table8
• 3. 作者代码 / 项目Official implementation linked by paper

直观讲解

小模型冗余少，极低位宽的损失经常集中在少数关键层。逐层删去再测困惑度很贵，逐权重保护又会破坏规则布局；LieQ 用表示几何近似功能敏感度，再按层分配位宽。

关键机制

1. 对同一代表性 hidden state，分别计算训练权重投影 Z=Wh 与随机初始化对照 Z̃。对两者做 SVD。
2. 将奇异值平方归一化后计算指数谱熵；数值越小表示能量越集中。用相对紧凑度变化，在投影类型和注意力头上平均，得到层分数。
3. 按分数给预算允许的少数层 4-bit，其余 2-bit。主实验常只保护最高分的一层，因此平均位宽略高于 2。
4. 层内保持统一格式，可结合 GPTQ/AWQ 等后端。免去了逐层困惑度探测，但仍需要代表性前向得到激活。

带条件的代表结果

边界与需要核对的条件

• R数值越小才越“紧凑”；论文名称Compact(Z)实际上是指数谱熵/有效秩，要避免方向说反。
• 用同样hidden states经过训练权重和随机对照比较，尽量消除输入/维度带来的基线差异；随机初始化分布、输入分布仍可能影响排序。
• Top1保护时平均bit近似2+2/L；不是所有权重严格2bit。对于不等大小层、取整预算，部署前仍需检查实际字节数。
• 论文称Spearman相关ρ>0.8，这是支持诊断代理的相关性证据；并不保证对任意架构或域迁移都成立。

面试问答

为什么小模型收益尤其明显？

其关键功能集中于少数敏感层，均匀压缩会破坏这些瓶颈；保护少量层即可显著降低损失。更大模型的重要性分布较平坦，单层保护的边际作用减弱。

它与GPTQ/AWQ是什么关系？

LieQ主要是层级精度调度原则，可与量化后端组合；GPTQ/AWQ解决给定位宽下如何近似权重，两者处于不同决策层级。

与其他工作的区别

LieQ 回答“把更多精度给谁”，而不是重新发明权重编码。它与 PTQTP/FluxBin 作用层次不同，不能仅比较一个名义 bit 数就判断优劣。

一手来源

• 1. ACL Anthology 正式记录Official bibliographic entry
• 2. 正式论文 PDF§3 Eq.(4–10), Tables1–4; pp15757–15760

直观讲解

只看最终正确率下降，不能解释量化究竟破坏了哪一步。论文先诊断首个错误，再用少量针对性偏好数据恢复能力；这篇已与前期 2501.03035 合并展示，InfiJanice 是同一后续稿的旧题名。

关键机制

1. 用 LoRA/QLoRA 和 PRM800K 统一逐步输出格式，分析全精度答对而量化答错的题。
2. 五个评判模型定位首错并划分概念、方法、执行、推理错误；分歧交人工复核，另抽查 2% 的已接受判断。
3. 在失败步骤处截断错误轨迹，用强模型续写正确后缀，组成 Silver Bullet 正负偏好对；按 unique_id 剔除 MATH/MATH500 重叠。
4. 在量化模型上做 DPO：LoRA rank 32、学习率 10⁻⁶、warm-up 0.1、全局 batch 8。它包含额外训练，并非全流程免训练。

带条件的代表结果

边界与需要核对的条件

• 首错分类的推理类比例降低不意味着深层推理能力变强；早期算术/方法错误先被标记，后面的逻辑错误被统计规则遮蔽。
• 模型修复后仍保留低比特权重，但加入适配器和训练不等于获得新的推理kernel加速证据。
• 结果有能力取舍：同一Qwen2.5-3B AWQ的GSM8K从恢复前70.36%变为68.84%，全精度76.04%；不能说所有通用能力无损。
• GPTQ/AWQ本来就是PTQ，但此修复阶段是额外训练；不要把整个流程称为完全training-free。
• 旧2501.03035已作为前期相关稿从CV独立条目移除，本学习卡只讲2505最新版。
• 原文的强模型名称写作Llama-3.2-70B；实际checkpoint、生成prompt和judge版本应回到实验记录核对，不能仅凭论文文字补造复现实验配置。

面试问答

为什么不是随便用几百道题微调就行？

关键消融比较相同规模随机/未对齐样本与首错对齐样本；Qwen2.5-3B-AWQ MATH500为32.5/29.4对38.4，支持针对失败边界的构造有额外价值。

怎么证明不是测试泄漏？

原文按unique_id剔除MATH与MATH500重叠；面试可进一步说明要审计语义近重复、题解来源以及强模型生成是否见过评测题。

与其他工作的区别

它研究数字量化后的错误诊断与训练修复；LieQ 等研究量化时如何保住信息。与 Memristor 的区别则在于数字低比特误差 vs 模拟硬件噪声，以及训练修复 vs 免训练冗余。

一手来源

• 1. 论文全文§3.1–3.2; Table1; Table2; Appendix F/Table9
• 2. 论文 PDFPDF p4–7 method; p9 ablation; p27 recovery table

直观讲解

忆阻器存内计算能减少数据搬运，但器件误差会扰乱推理。更隐蔽的代价是模型复读、迟迟不输出答案，令原本节能的硬件生成大量无效 token。论文研究这种质量、长度与能耗的耦合。

关键机制

1. 将权重分为 64×64 块，用每块最大绝对权重缩放高斯扰动；用 BF16 七位尾数随机翻转近似故障。主实验 p=0.01，σ 从 0.005 到 0.02。
2. Qwen3-0.6B 上，每种配置 5 次独立运行，每题采样 8 次，最长 32k 输出；软件评测使用 8 张 H200。
3. 比较 thinking、2-shot ICL 和模块多副本求平均。thinking 低噪声较好，高噪声会格式崩溃；ICL 控制长度但损失一些准确率。
4. 重复 Attention/FFN 或浅层并求平均可降低扰动；是并行副本平均，而非把同一层串联四次。能耗/面积采用 RRAM、XPESim 与数字操作成本模型估算。

带条件的代表结果

边界与需要核对的条件

• Mean@8是每题八次采样的平均正确率；Pass@8是八次中至少一次答对；Vote@8是投票结果。三者不能互换。
• 若副本噪声独立且零均值，平均r副本的噪声方差可约降至sigma²/r；这只是解释直觉，相关性/系统偏差/固定故障会破坏理想缩放。
• thinking收益仅在低噪声较稳定；高噪声会出现空think标签和复读。与baseline采样温度也不同，应避免把全部差异仅归因于是否thinking。
• 冗余的能量收益并非多算更省电的普遍定律；这里依赖错误减少令输出长度显著缩短，并付出芯片面积增加。
• 小噪声某任务偶然提升不足以证明噪声总是正则；高噪声总体性能和稳定性恶化。

面试问答

为什么优先保护浅层？

前部表征扰动会传播到后续网络；论文对不同层段冗余的对照支持浅层更关键。只保护前四分之一层可避免全模型复制的面积成本。

下一步怎样验证真实硬件可迁移性？

以实测器件误差分布替换独立Gaussian/尾数翻转，加入相关噪声、漂移、ADC/DAC、互连与故障映射，再测固定质量要求下的端到端能耗和面积。

与其他工作的区别

这是模拟器件非理想性与鲁棒性策略研究，不是新的权重量化算法；能耗结论取决于设备模型和生成长度，必须连同面积一起讨论。

一手来源

• 1. 论文全文§3.1–3.3 noise/energy; §4; Table2/3
• 2. 论文 PDFPDF p3–4 setup; p8 Table2; p9 Table3; COLM2026 header

直观讲解

高效推理不是把回答压短就成功：要让训练中持续出现‘短且对’的正例，并保留区分‘短且错’的信号。

只设计长度奖励或只看平均输出长度，会把模型不再推理误认为提速。要同时研究prompt难度、采样数量、负样本处理与优化的新旧策略差异，并在多个推理预算下看正确率。

关键机制

1. 这是统一协议下的配方与训练动态研究，不是提出新架构。主分析骨干DeepSeek-R1-Distill-Qwen-1.5B，DeepScaleR数学prompt，GRPO；学习率1e-6，clip-high0.28，prompt batch128，初始N=8，rollout上限L_R=16k、目标L_T=4k。
2. 训练分两阶段：先适应长度，输出与熵快速下降；随后长度大致稳定但正确率继续恢复/提高。若只观察早期变短，无法判定是否真正学会高效推理。
3. 使用8次rollout估计题目难度，pass rate>0.5为Easy，≤0.5为Hard。主实验只训Hard易缺少正例并崩溃；Easy使正确短回答更常被发现，长度学习更稳定。N从8增至12/16/24有利但增加采样成本，代码任务增益未必同样明显。
4. 四类回答必须分开：短且对、长且对、短且错、长且错。基础截断奖励只给短且对1，其余0。mask掉所有错误回答，只留下短对与长对，会让长度替代正确性成为捷径；同时mask长对和短错，也使短/对和长/错高度混淆。
5. mask长且对通常保留更多质量但回答变长；mask全部长回答，长回答没有被惩罚，后期可能重新增长。取L_R=L_T，在生成阶段便限制到目标长度，是主分析中较好折中。它不是‘把长回答剪短就当正确’，最终答案仍需verifier。
6. 研究off-policy staleness S∈{2,4,8,16}，即使用较旧策略采样来更新当前策略；易题+N24下可加快训练但高S有熵上升/长度反弹风险。最终Qwen3扩展实验不使用off-policy。
7. 评估不仅报告一个预算：2k/4k/8k/16k/32k下的Mean@8、Pass@8，以及按正确性条件分组的长度分布。硬预算下优秀的策略可能在宽预算下损害能力。

带条件的代表结果

边界与需要核对的条件

• 主要训练域为数学，公开测试侧重数学/代码；私有10域测试无法完整独立核验；不能直接外推写作或开放式任务。
• 主实验大量分析在1.5B，扩展至30B-A3B，不代表所有更大模型都适用；‘两阶段’是观测规律而非收敛定理。
• 易题和更多rollout改善的是有效奖励信号，并非题目永远越简单越好；题目太简单、全对且奖励相同也缺组内对比。
• 长度缩短不是自动减少同等比例wall-clock；多rollout的训练代价与部署收益应分开核算。

面试问答

为什么mask错误样本反而可能更差？

没有短且错的负例，模型容易只学短回答这个捷径；‘短’和‘对’在训练信号中被错误绑定。

怎么证明不是只学会提前结束？

同时画correct/incorrect长度分布、分预算Mean/Pass、训练reward和entropy；展示正确率维持时的实际缩短，并检查宽预算性能。

你会如何复现/扩展？

先固定模型/算力/采样预算，对照Easy/Hard/混合、N和L_R/L_T；使用独立验证集选checkpoint，再测统一token预算及实际延迟。扩展到自适应难度/长度是设想，不是本论文已证明。

与本人论文的联系

• 与Simple-OPD：前者研究RL阶段怎样用correctness/length reward培养高效轨迹；后者研究OPD之前怎样用teacher CoT+LoRA把学生带到教师熟悉的思考行为。二者位于不同训练阶段，没有直接组合实验可证明必定叠加。
• 与AKL：Art并不通过FKL/RKL加权来定义主目标；AKL是给定前缀处的教师/学生下一token分布匹配。不要把Art的‘正负轨迹奖励’叫作token KL，也不要把Art的off-policy staleness解释成teacher-generated训练轨迹。
• 与MI：都是精度—token成本折中；MI不训练、移动权重位置，Art需RL、移动轨迹概率。方法层次不同。

一手来源

• 1. 论文全文
• 2. 论文 PDF
• 3. 作者项目页

直观讲解

蒸馏后的即时分数并不足以衡量它是否是好的RL起点：更接近教师的完整分布、又保留替代路径，可能使后续RL学得更好。

常见做法把SFT/OPD结束时准确率最高的模型作为最好初始化，但后续RL依赖起始策略会探索什么、哪些轨迹获得奖励。论文把终点评价延伸到同样RL之后。

关键机制

1. 比较同一学生的Base→RL、SFT→RL、OPD→RL。Text学生Qwen3-8B/教师Qwen3-32B；VL为Qwen3-VL-8B/32B，教师均经过RL。主比较OPD使用RKL。这里Base是未经过本文准备阶段的起始学生，不宜擅自等同某个发布名带-Base的纯预训练checkpoint。
2. SFT学verified teacher responses的硬token；OPD先让学生自己生成，再让教师在学生走过的prefix上提供完整词表分布，做逐token KL。学生有机会在自己的错误状态上得到教师反馈，减轻只看teacher路径的分布偏移。
3. 准备和RL数据分开：text用100K OpenMathInstruct准备、17K DAPO-Math RL；VL准备100K OpenMMReasoner，RL为16K DeepMath与MMK12/VisionR1。八个text/二十个VL基准均等权平均。
4. 在VL另做2×2因子实验：prefix来自student(OPD)还是teacher(TFD)，局部loss是RKL还是FKL。四种都用full teacher distributions，TFD不是硬标签SFT。
5. VL配置Table4：准备1epoch、lr1e-5、global batch1024、seed42；后续GRPO每prompt10响应、T1/top-p1、max response16384、lr1e-6、actor KL0.01、seed1。后续RL训练设置一致，但不是总算力相等的比较。
6. 机制探针在1024个RL-pool题、每题64次生成上估Pass@k；再看各策略自身prefix上的top20归一化JS、top1一致率和词表规则匹配位置的熵。论文将其称作可能解释，未完成因果拆分。

带条件的代表结果

边界与需要核对的条件

• 论文明确把准备成本和总训练compute排除在比较指标之外；不能声称此配方是计算最优。
• Table4给出stage-specific固定seed，不是多随机种子训练误差；bootstrap区间用于固定checkpoint上诊断prompt采样，不等于训练方差置信区间。
• 按熵/奖励/输出不连贯监测停止训练，不能把共享配置描述成完全等步数、等总计算预算。
• top20 JS/entropy是截断且重新归一化的局部分布探针，不是完整词表KL，更不是完整轨迹分布距离。各策略prefix不同，探针兼有访问状态和局部分布影响。
• strategy entropy来自固定词汇规则，不能等同语义层面的独立推理策略数量；熵高也可能是无效噪声。
• FKL后续RL优势的直接对照在本文VL模型对/二十基准；机制仍需固定prefix、干预熵/对齐、跨模型多seed来验证。

面试问答

on-policy是否等于reverse KL？

不是。on-policy说rollout由当前学生生成，FKL/RKL说在该prefix比较两个下一token分布的方向。本文学生prefix+FKL也是OPD。

为什么即时分数低的FKL可能更适合RL？

论文观察其更接近教师局部分布且保留较高熵，可能留下可供奖励进一步筛选的路径；此处是解释性假说，不能把概率质量/可学习性简化成熵越高越好。

和AKL是否矛盾？

不矛盾。AKL研究局部蒸馏拟合动态并在其基准评价蒸馏结果，本篇评价另一模型族的后续RL；任务、prefix、容量和终点评价都不同。

怎么设计下一步公平实验？

固定teacher、数据、访问prefix、总训练token/compute和下游预算，比较FKL/RKL/AKL，多seed；分开干预分布对齐和熵，才能检验原因。此为建议实验，非论文现有结论。

与本人论文的联系

• 与Simple-OPD的层级：Simple-OPD是LoRA warm-up→OPD；本篇是OPD→RL。两个‘before’相接但优化终点不同，不能据此说Simple-OPD已经证明最终RL收益。可提出warm-up→OPD→RL组合假设，但必须实测。
• 本篇Related Work明确引用Simple-OPD以及AKL。它不是Runming Yang的论文，引用关系不能当作者关系。
• 与AKL：AKL在相同prefix根据teacher分布头/尾的student gap自适应加权FKL和RKL，改变的是局部loss。AKL没有自动决定prefix采样来自谁，也没有在原论文中证明这种混合最适合后续RL。
• 不要简化为FKL必然mean-seeking、RKL必然mode-seeking：两者局部分布自由时最优点同为p=q，有限容量、优化过程和prefix访问分布才使实验不同；AKL原论文也强调LLM词表分布下早期头/尾拟合行为，反对不加条件套用高斯直觉。

一手来源

• 1. 论文全文
• 2. 论文 PDF
• 3. 论文全文
• 4. ACL Anthology 正式记录