面向自然语言理解的信息论多任务表示学习框架

基于摘要分析。本文研究自然语言理解中的多任务表示学习，提出 InfoMTL，目标是在预训练语言模型（PLMs）的多任务学习中提取对噪声不变、且对各任务充分的表示，缓解表示压缩造成的信息不足与冗余特征的负面影响。 机制上，框架包含两个原则：共享信息最大化旨在使共享表示保留所有目标任务所需的信息，避免多任务表示压缩损失必要信息；任务特异信息最小化则面向每个任务压缩无关冗余，同时保留预测目标所需的信息。其关键思路不是统一压缩全部表示，而是区分共享信息的充分保留与任务相关的信息筛选。摘要未给出信息量的具体定义、估计方式、损失形式或训练流程。 作者报告，在六个分类基准上，InfoMTL 在相同多任务设置下优于 12 种对照多任务方法，尤其在数据受限和噪声场景中表现突出；作者还报告，所学表示具有更好的充分性、数据效率和鲁棒性。摘要未列出基准名称、具体指标、差值、数据划分及噪声构造方式，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 数据包含共享输入及多个相关任务标签，该框架可能用于检验共享表示是否丢失任务信息，以及任务特异表示是否保留过多无关变化。可复用的是共享信息保留与任务特异压缩的双重原则；需要改造 EEG 编码器，并核对信息估计是否适用于小样本、低信噪比和通道差异。风险在于共享表示保留被试或会话混杂因素，或压缩过程误删微弱的任务信号。一个可检验的小实验是在固定数据划分与编码器下，对比常规多任务训练、单独加入两项原则及完整框架，并分别评估各任务表现与噪声扰动后的变化。原文依赖的监督配置和训练规模尚未验证，已有 EEG 相关工作尚未检索确认。