基于信息瓶颈原理的文本表征蒸馏

基于摘要分析。本文研究预训练语言模型（PLMs）的计算开销与高维文本表征带来的部署困难，提出基于信息瓶颈原理的知识蒸馏方法 IBKD，旨在缓解大型教师模型向较小表征模型蒸馏时的性能退化。 其核心机制是同时最大化教师与学生最终表征之间的互信息，并降低学生表征与输入数据之间的互信息。作者希望借此保留教师学到的重要信息、压缩不必要的输入信息，从而降低过拟合风险。该方法依赖教师—学生表征及原始输入之间的信息关系；互信息估计方式、具体损失、训练监督及模型规模尚未验证。 作者报告，IBKD 在文本表征的两类下游任务 Semantic Textual Similarity 和 Dense Retrieval 上显示有效性。摘要未提供数据集、评估指标、数值、划分或对照基线，因而无法判断收益幅度与适用边界；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其“保留教师信息、压缩输入冗余”的机制可作为 EEG 表征蒸馏的研究假设，而不是已证实的 BCI 方法。可复用的是表征对齐与信息压缩思路，需要改造输入编码和教师选择；低信噪比、跨被试或通道变化下，教师可能传递伪迹或被试特征，压缩也可能误删微弱任务信号，小数据还可能导致互信息估计不稳定。一个可检验的小实验是固定 EEG 教师、学生及跨被试划分，对比仅表征对齐与加入输入信息压缩两种设置，核对任务性能和多次运行稳定性。相关 EEG 工作尚未检索确认。