迈向完全协变的机器学习
Towards fully covariant machine learning
基于摘要分析。本文是一项概念性研究,讨论机器学习如何尊重数据表示中的被动对称性,以及它与主动对称性、因果建模和样本外泛化的关系;核心贡献是提出分析框架,而非发布具体模型或已验证的 EEG/BCI 方法。 作者指出,坐标、规范和单位等表示选择由研究者引入,并不属于数据生成过程本身;不同表示之间的变换因此对应被动对称性,图节点的重标记或置换是机器学习中的典型例子。主动对称性则需要通过观察和实验确立,例如物理规律的平移或旋转不变性。作者认为,现有等变机器学习文献主要关注后者,并讨论尊重被动对称性时机器学习实践应遵循或避免的做法。这里的协变不应简单等同于输出不变:表示变化后,模型输出应如何变化,取决于任务及输出的表示方式。 作者主张,实现被动对称性可能尤其有利于样本外泛化,并提出其可能像在物理学中那样促进机器学习发展的猜想;这些不是摘要中经实验验证的结论。具体实现、数据需求、实验协议、消融及统计信息尚未验证。 平台推测(待验证):这一框架可用于审查 EEG 模型是否不当地依赖通道排列或单位约定。可复用的是输入与输出变换规则的一致性原则;需改造的是通道位置、参考方式及任务输出的表示,不能把跨被试生理差异直接视为表示对称性。一个可证伪的小实验是在固定数据划分下,同时置换 EEG 通道及其位置元数据,检验预测是否保持任务所要求的一致性,并与未约束模型对照。该测试仅验证表示一致性,不能证明跨被试泛化改善;低信噪比、缺失通道和小数据仍可能限制性能。已有 EEG 相关工作尚未检索确认。
其阅读价值在于区分数据表示约定产生的被动对称性与需经实证确立的主动对称性,为审查模型的表示依赖和样本外泛化假设提供概念框架,但摘要未提供性能验证。
来源:OpenReview · Representation learning · openreview.net