第175章 模型调研（1 / 2）
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能，避免出现内容无法显示或者段落错乱。
技术方案的第一步，永远是调研。
林晨把透明蒸馏项目的调研分为两条线：一条是可解释性方向，交给张明远；另一条是蒸馏方法方向，他自己来。陆小溪负责梳理现有数据管道，评估改造可行性，暂时不参与调研。
周四上午，林晨坐在工位上，面前摊着三篇打印出来的论文，笔记本上密密麻麻写满了标注。屏幕上还开着七八个标签页，全是最近两年顶会里关于模型蒸馏和可解释性的文章。
这不是他第一次做技术调研——入职第一周的可解释性调研他已经做过一轮了，那份四十多页的报告还在内部Wiki上挂着。但那次的调研是广撒网式的，目的是了解全貌；这次的调研是精准打击式的，目的是找到在蒸馏过程中保留可解释性的具体技术路线。
他先梳理了现有的主流蒸馏方法。
硬标签蒸馏是最简单的——教师模型输出分类结果，学生模型直接学习这些标签。效果有保证，但可解释性几乎为零。学生模型学到的是教师的答案，而不是教师的推理过程。PASS。
软标签蒸馏是Hton在2015年提出的经典方法——教师模型输出概率分布（softbels），学生模型学习这个分布。好处是信息量更大，坏处是依然只传递了结果层面的知识，没有传递中间层的推理逻辑。PASS。
特征蒸馏更进一步——不仅传递输出，还传递中间层的特征表示。学生模型不仅要学怎么答，还要学怎么想。这个方向更接近目标，但现有的特征蒸馏方法关注的是效果保真，而不是可解释性。也就是说，学生模型学到了中间层的特征分布，但它无法解释这些特征对最终决策的贡献度。有潜力，但不够。
关系蒸馏——教师模型中不同样本之间的关系也被传递给学生模型。比如两篇文章在教师的表示空间里是相似的，学生模型也应该保持这种相似性。这个方法天然带有一定的语义信息，对可解释性有帮助。可以考虑。
注意力蒸馏——将教师模型中的注意力图作为额外监督信号传递给学生。注意力图本身就是一种特征归因——它告诉你模型在哪些位置投入了更多的计算资源。这个方法和可解释性有直接关系，但它只适用于基于注意力机制的模型，对非Transforr架构不适用。重点关注。
林晨在笔记本上画了一个对比表格，把每种方法的优点、缺点、和可解释性的关联度逐一标注。然后他在表格最右边加了一列，标题是可解释性改造潜力。
关系蒸馏和注意力蒸馏的改造潜力最高，但都不完全满足透明蒸馏的需求。他需要的不是在现有蒸馏方法上打补丁，而是设计一种新的蒸馏框架，让可解释性成为蒸馏过程的内生约束，而不是事后添加的附属功能。
他站起来，走到白板前（他们小组申请了一块固定白板，就在工区角落），开始画架构草图。
草图的核心是一个三角形的约束框架：
顶部顶点标注效果保真——学生模型的输出要尽量接近教师模型。左下顶点标注模型压缩——学生模型的参数量和推理延迟要显着低于教师模型。右下顶点标注可解释性保持——学生模型要能提供决策归因，解释为什么给出这个结果。
传统的蒸馏方法只优化顶部和左下之间的权衡（效果vs压缩），完全忽略了右下角的可解释性。透明蒸馏要做的是在三者之间找到帕累托最优的平衡点。
他在三角形中间画了一个圈，标注核心创新点：可解释性感知的蒸馏损失函数。
这个损失函数由三部分组成：
输出蒸馏损失（传统软标签蒸馏）——保证效果保真
特征蒸馏损失（中间层特征对齐）——保证表示学习
可解释性蒸馏损失（新增）——保证学生模型的归因结果与教师模型一致
第三部分是创新的核心。如何定义归因结果一致？如果教师模型对某次推荐决策的归因是用户兴趣占60%，内容热度占30%，多样性占10%，那么学生模型也应该给出类似的归因比例，而不能只学到输入输出映射而丢失归因信息。
林晨在白板上画了一个具体例子：
教师模型输出：推荐内容A，归因={用户兴趣：0.6，内容热度：0.3，多样性：0.1}学生模型输出：推荐内容A，归因={用户兴趣：0.55，内容热度：0.35，多样性：0.1}
两个模型的推荐结果相同，归因比例近似但不完全一致。这个差距就是可解释性蒸馏损失——差距越小，学生模型对教师模型推理逻辑的还原度越高。
他在白板上写下关键公式的设计思路：
↑返回顶部↑