基于信息瓶颈原理的文本表示蒸馏

该研究针对预训练语言模型（PLMs）计算成本高、表示维度高，以及蒸馏后性能退化的问题，提出基于信息瓶颈原理的知识蒸馏方法 IBKD。基于摘要分析，其主要贡献是在教师—学生表示对齐之外，引入对学生表示所保留输入信息的压缩约束。 机制上，IBKD 旨在最大化教师模型与学生模型最终表示之间的互信息，同时降低学生表示与输入数据之间的互信息。作者认为，这种权衡可保留教师学到的重要信息、减少不必要信息，并降低过拟合风险。摘要未说明互信息的估计方式、具体损失形式及权重设置，也未给出模型规模或表示维度，相关实现尚未验证。 作者报告，IBKD 在 Semantic Textual Similarity 和 Dense Retrieval 两类文本表示下游任务中表现有效；摘要未提供数据集、划分协议、对照基线或具体指标，因此尚不能判断收益幅度及性能与计算成本的权衡。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将该机制用于 EEG 表示蒸馏，可检验的假设是，教师—学生信息保留与输入压缩的联合约束能帮助小模型减少无关信号影响。可复用的是信息瓶颈式蒸馏目标，需改造的是适配 EEG 时序与通道结构的编码器及互信息估计方案。低信噪比、小数据和跨被试差异可能使估计不稳定，过度压缩也可能损失微弱的任务相关信息。一个小规模可证伪实验是在相同数据划分、教师与学生模型下，对比普通表示蒸馏和加入输入信息压缩约束的蒸馏，并分别核对被试内与跨被试表现。原文未提供 EEG 证据，已有 EEG 相关工作尚未检索确认。