跳到正文
OpenReview · Representation learning· Long Shi; Yunshan Ye; Wenjie Wang; Tao Lei; Yu Zhao; Gang Kou; Badong Chen·· 2025-01-01精选AI 评分75

迈向全面的信息论多视图学习

Towards Comprehensive Information-theoretic Multi-view Learning

AI 导读

基于摘要分析。本文研究多视图学习中过度依赖共享信息、可能忽略各视图独有预测信息的问题,提出信息论框架 CIML,联合学习共享表征与独有表征,不再依赖“视图间共同信息对下游任务既必要又充分”的多视图冗余假设。 机制上,共享表征学习先最大化 Gacs-Korner common information 以提取共享特征,再通过 Information Bottleneck(IB,信息瓶颈)压缩得到任务相关表征。独有表征学习同样采用 IB,在压缩各视图独有表征的同时,最小化独有表征与共享表征之间、以及不同独有表征之间的互信息,以减少信息重叠。与仅强调共享信息的方法相比,其关键区别是显式保留各视图可能具有的独有预测信息。 作者报告,从理论上证明了所学联合表征对下游任务具有预测充分性;具体假设、证明范围及其与实际优化的对应关系尚需全文核对。作者还报告,实验优于若干先进方法,但摘要未提供数据集、划分、基线、指标或数值,不能据此判断优势幅度与适用范围。实验协议、消融及统计信息尚未验证。摘要称代码已发布,但所给材料未提供可核对的仓库地址,复现依赖与实现细节尚未验证。 平台推测(待验证):若 EEG 多视图输入同时含共享任务信号与视图独有任务信号,该机制可能缓解仅学习共享表征造成的信息丢失。迁移依赖配对多视图数据及可支持任务相关压缩的监督信息;可复用共享/独有分解思路,但视图定义、编码器与互信息估计需适配 EEG。低信噪比、小样本、通道变化及跨被试差异可能使独有表征捕获伪迹,或使去冗余约束误删有效信号。可在固定被试内划分下,比较仅共享表征与共享加独有表征,并用视图噪声扰动检验增益是否稳定。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 CIML 如何结合共享与视图独有的任务信息,以及其预测充分性证明的适用条件;该机制对多视图表征有明确研究价值,但对 EEG/BCI 的有效性尚未验证。

来源:OpenReview · Representation learning · openreview.net