得益于令人印象深刻的效果，「在线策略蒸馏」 (On-policy Distillation)一直是近期的热门话题。这种方式通过使用密集的教师 Token 级信号监督学生采样轨迹，提供卓越的能力转移。为了提供高质量的监督源，从而提升蒸馏的性能，一个直观的方向是将「特权信息」 (Privileged I
得益于令人印象深刻的效果，「在线策略蒸馏」 (On-policy Distillation)一直是近期的热门话题。这种方式通过使用密集的教师 Token 级信号监督学生采样轨迹，提供卓越的能力转移。为了提供高质量的监督源，从而提升蒸馏的性能，一个直观的方向是将「特权信息」 (Privileged I
By