面向生物启发式 Hebbian 学习的分解式编码器设计中的表征学习
Representation Learning in a Decomposed Encoder Design for Bio-Inspired Hebbian Learning
基于摘要分析。本文研究视觉表征学习中,如何利用架构归纳偏置改善生物启发式局部 Hebbian 学习的表征能力。作者提出模块化分解式编码器框架,以并行编码器引入不同的不变视觉描述符,并使用生物启发式 contrastive predictive coding 变体训练。 核心机制是将人为指定的视觉不变性先验嵌入编码结构,使不同编码器利用不同描述符形成表征,而非仅依赖端到端学习获得这些性质。摘要将局部 Hebbian 可塑性规则与反向传播作为性能比较对象,但具体局部更新规则、预测目标、损失形式、分支融合方式,以及描述符是否固定均尚未验证。 作者在图像数据集 GTSRB、STL10、CODEBRIM 和视频数据集 UCF101 的分类场景中评估表征。作者报告,这类归纳偏置提高了所学表征的鲁棒性,缩小了局部 Hebbian 学习模型与反向传播模型的性能差距,并优于非分解式编码器。摘要未提供具体指标、数值、数据划分或鲁棒性测试条件,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,将任务相关的不变性先验与并行表征模块结合,可能有助于缓解 EEG 小数据条件下的表征学习困难;这不等于视觉描述符本身适用于 EEG。可复用的是模块化分解思路及局部学习框架,需改造的是信号描述符、时间预测目标和跨通道融合方式。风险在于 EEG 低信噪比及被试、通道差异可能破坏预设不变性,过强先验也可能抹去任务相关信息。可在同一 EEG 数据集、固定被试内划分下,对比非分解编码器与采用信号先验的分解编码器,并控制训练预算,检验分类表现及噪声扰动下的稳定性。已有 EEG 相关工作尚未检索确认。
值得核对其如何将视觉不变性描述符与局部 Hebbian 学习结合,以及分解式编码器相对非分解式编码器的对照结果;摘要支持视觉表征学习价值,但尚不支持 EEG/BCI 有效性结论。
来源:OpenReview · Representation learning · openreview.net