跳到正文
OpenReview · Representation learning· Milad Sefidgaran; Abdellatif Zaidi; Piotr Krasnowski·· 2023-01-01精选AI 评分82

表征学习的最小描述长度与泛化保证

Minimum Description Length and Generalization Guarantees for Representation Learning

AI 导读

基于摘要分析。本文研究监督表征学习中的泛化保证,提出以最小描述长度(Minimum Description Length,MDL)为核心的可压缩性框架,用标签或潜变量表征的描述长度建立泛化误差上界。研究对象是通用表征学习及 Information Bottleneck(IB)类编码器,并非 EEG 或 BCI 专用算法。 技术上,该框架并非仅依赖编码器输入与表征之间的 Shannon 互信息,而是引入训练集与测试集的表征或标签分布相对于固定先验的“multi-letter”相对熵。作者指出,输入与表征的互信息不足以充分刻画算法的泛化能力;作者报告,新界能够反映编码器结构,且对确定性算法也可给出非空泛的保证。其信息论压缩框架建立在 Blum-Langford 的 PAC-MDL 思路之上,关键扩展是块编码与有损压缩,并将几何可压缩性纳入特殊情形。 作者进一步提出数据依赖先验,以部分利用理论结果;作者报告,数值模拟显示,恰当选择此类先验优于 IB 中使用的经典先验。摘要未提供模拟任务、数据规模、先验构造细节或量化结果,因此无法判断优势范围;定理假设、先验与样本的依赖关系、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移机制是假设表征的可压缩性能够辅助解释 EEG 解码中的泛化差异,而非直接把输入—表征互信息当作泛化代理。原方法依赖监督标签、表征分布及先验选择;可复用的是 MDL 分析框架,需改造的是适配被试、会话与通道结构的编码和先验。低信噪比可能使压缩丢失任务信息,跨被试分布偏移与小样本也可能使先验估计不稳。一个可检验的小实验是在固定 EEG 数据划分和相同解码器下比较不同先验,核查描述长度或理论界是否与实际泛化误差一致;具体设计须先确认全文中的定理条件。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于以可压缩性和 MDL 重新刻画表征学习的泛化保证,并给出适用于确定性编码器的界;其对 EEG 表征评估的实际价值尚未验证。

来源:OpenReview · Representation learning · openreview.net