跳到正文
OpenReview · State space models· Rahul Ramesh; Jialin Mao; Itay Griniasty; Rubing Yang; Han Kheng Teoh; Mark K. Transtrum; James P. Sethna; Pratik Chaudhari·· 2023-01-01精选AI 评分79

典型可学习任务空间的图景

A Picture of the Space of Typical Learnable Tasks

AI 导读

基于摘要分析。本文研究深度网络在不同任务及学习范式下所学表征之间的关系,提出信息几何分析技术,刻画任务空间的结构及模型训练轨迹。研究对象是由 CIFAR-10 和 ImageNet 构造的分类任务,并非 EEG 或 BCI 任务。 作者比较了监督学习、元学习、半监督学习与对比学习。作者报告:不同任务和表征学习方法所得概率模型构成的流形具有有效低维结构;在一个任务上进行监督训练,也会推动模型在看似不相似的其他任务上取得进展,且训练任务的类别越多样,这种进展越大;分析得到的任务空间结构与 WordNet 分类树的部分结构一致。这里“进展”的具体度量及评估协议在摘要中未展开,不能直接等同于 Accuracy 提升。 作者还报告,情节式元学习与监督学习沿不同训练轨迹演化,但最终拟合的模型相似;对比学习和半监督学习的轨迹则与监督学习相近。摘要未提供信息几何度量的具体定义、低维性的判据、任务构造与划分、网络配置或量化结果,实验协议、消融及统计信息尚未验证。摘要提供了代码链接,但实现内容及复现条件尚未核验。 平台推测(待验证):可迁移的假设是,以概率模型几何关系分析 EEG 任务或被试间的可迁移性,可能比仅比较最终分类分数提供更多信息。这依赖可比较的预测分布和任务定义;几何分析框架或可复用,但输入表征、类别对应及跨被试比较方式需要改造。EEG 的低信噪比、通道差异和小样本可能使几何距离估计不稳定。一个可检验的小实验是在同一 MI 数据集内固定模型与被试划分,检验源被试和目标被试模型的几何接近程度是否能预测迁移收益,并与不迁移的基线比较。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于用信息几何统一考察不同任务与学习范式下的模型关系,为分析任务迁移和训练轨迹提供视角,但其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net