跳到正文
arXiv · 表征与预训练· Mosh Levy; Aly Lidayan; Yoav Goldberg·· 1 天前精选AI 评分80

预测闭包:JEPA 特征选择的集合层面刻画

Predictive Closure: A Set-Level Characterization of JEPA's Feature Selection

AI 导读

基于摘要分析。本文研究 joint-embedding predictive architectures(JEPA)会保留哪些特征,提出 predictive closure(预测闭包)刻画:特征是否被编码,不仅取决于其自身是否容易预测,还取决于它与其他特征构成的预测关系。 JEPA 联合训练编码器和预测器,以降低对下一观测表征的预测误差。由于当前与未来观测的表征均参与学习,仅按单个特征的可预测性解释特征选择,可能忽略特征之间的作用。作者通过重新表述 JEPA 训练目标,将选择依据转向特征集合的性质;作者指出,当特征独立演化时,该观点与既有解释一致,而在特征相互依赖时会产生不同预测。例如,交通灯颜色自身可能难以预测,但因有助于预测车辆是否停止,仍可能被保留。 作者报告,在受控实验中,当难以预测的特征有助于预测其他特征时,其表征程度可以提高;改变某个特征的预测关系,也会影响其他特征的表征。作者还报告,针对一个特征施加辅助目标,或将其作为侧信息提供给预测器,可以间接增强它所帮助预测的另一特征的表征。具体目标函数、数据生成方式、表征评估指标、效应大小及统计信息尚未验证。 平台推测(待验证):该机制可为 EEG 自监督预测中的特征保留提供假设,即自身时间可预测性较弱、但有助于预测其他神经信号成分的变量,未必会被 JEPA 排除。可复用的是按特征间预测关系分析表征选择的思路;需改造的是 EEG 编码器、时间预测目标及侧信息接口。其依赖可辨识的时序预测关系,低信噪比、跨被试差异、通道变化和小数据均可能使这些关系不稳定,也可能使模型偏向伪迹。一个小规模可证伪实验是在半合成 EEG 中控制某个成分自身的可预测性及其对另一成分的预测作用,在相同训练协议下比较其可解码程度是否随关系变化。该实验仅用于检验机制,不构成 BCI 有效性证据;已有 EEG 相关工作尚未检索确认。

阅读价值

该研究将 JEPA 的特征选择从单个特征的可预测性推进到特征集合间的预测关系,为理解难以预测但有助于预测其他变量的特征为何被保留提供了可检验解释;其对 EEG 表征学习的适用性尚未验证。

来源:arXiv · 表征与预训练 · arxiv.org