跳到正文
OpenReview · Representation learning·· 22 天前精选AI 评分80

表征形成的信息几何

The Information Geometry of Representation Formation

AI 导读

基于摘要分析。本文研究神经网络内部表征在训练过程中如何形成,以及形成路径是否包含最终表征无法揭示的信息。其核心贡献是将表征学习视为几何轨迹,用 Bures 几何度量表征空间中的移动,并用量子 Fisher 信息刻画表征对输入因素的局部敏感性。 机制与结果:作者报告,学习使局部敏感性集中于任务相关因素;仅改变预测目标,就会使表征几何围绕相应视觉因素重新组织。当所学计算需要输入因素之间更高阶的交互时,表征轨迹会系统性地变得更曲折。作者报告,这一现象在性能匹配和训练时长控制下仍然存在,并从向量输入上的 MLP 扩展到渲染图像及自然图像上的残差 CNN;摘要未提供具体数据集、划分或定量指标。 稳定性与干预:作者报告,在控制交互阶数后,路径曲折度能够预测继续训练时的表征漂移及其对参数扰动的敏感性,而端点位移不能提供相同的预测信息。此外,表征感知优化可主动塑造这些轨迹。轨迹采样、几何量计算、优化目标、计算开销、消融及统计信息尚未验证。 平台推测(待验证):迁移假设是,训练路径的几何特征可能为 EEG 解码器的表征稳定性提供补充诊断,而非直接提高解码效果。可复用的是轨迹测量与稳定性预测框架;需改造的是输入因素定义、EEG 表征的几何构造及采样方式。原研究依赖可辨识的输入因素和预测目标,EEG 的低信噪比、通道差异及小数据可能使曲折度主要反映训练噪声。一个可检验的小实验是在固定被试内划分、性能匹配和训练时长的条件下,检验路径曲折度能否比端点位移更好地预测继续训练及参数扰动后的表征漂移。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以训练轨迹而非仅以最终表征分析计算复杂性与表征稳定性的思路,摘要报告了性能匹配及训练时长控制,但具体测量与干预方案尚待全文核对。

来源:OpenReview · Representation learning · openreview.net