跳到正文
OpenReview · Representation learning· Yi Ren; Samuel Lavoie; Mikhail Galkin; Danica J. Sutherland; Aaron Courville·· 2023-09-22精选AI 评分77

利用迭代学习与单纯形嵌入改善组合泛化

Improving Compositional Generalization using Iterated Learning and Simplicial Embeddings

AI 导读

基于摘要分析。本文研究深度网络如何泛化到训练中未见过的潜在因素组合,提出将迭代学习与 simplicial embeddings(单纯形嵌入)结合,以改善组合泛化。主要研究对象是具有明确潜在因素的视觉任务,以及潜在结构未知的真实分子图预测任务,并非 EEG 或 BCI。 机制上,方法借鉴认知科学中的迭代学习:信息较少的学习者向已掌握知识的学习者学习,形成对表征可压缩性的压力;下游任务则要求表征保留足够的表达能力。单纯形嵌入用于使表征近似离散化,作者另以 Kolmogorov complexity 为基础分析组合性,为这种结合提供理论动机。摘要尚不足以核对学习者间传递什么信息、迭代训练流程、嵌入约束及具体优化目标。 作者报告,该组合在上述视觉任务和分子图预测任务中,相较其他方法改善了组合泛化。摘要未提供具体数据集、划分方式、对照方法或指标数值,因此无法判断提升幅度及各模块的独立贡献;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务中可界定任务因素与被试、会话等变化因素,该机制或可用于检验模型对未见因素组合的泛化,而非仅对既有组合分类。可复用的是迭代学习框架与近似离散表征,需改造 EEG 编码器并建立因素组合留出划分;摘要未明确原方法对因素标签、监督信号及数据规模的依赖。低信噪比和小数据可能使离散化损失有效信息,被试与通道差异也可能被编码为捷径。一个可证伪的小实验是,在因素可控的 EEG 数据上固定编码器和训练预算,对比基础模型、仅迭代学习、仅单纯形嵌入及二者结合,评估留出组合上的表现与多次重复的不确定性。相关 EEG 工作尚未检索确认。

阅读价值

值得核对迭代学习与 simplicial embeddings 如何共同平衡表征可压缩性和任务表达能力,以及其在已知与未知潜在结构任务中的组合泛化证据;对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net