将未见程序归纳为学习表征中的变换
Inducing Unseen Programs as Transformations in a Learned Representation
基于摘要分析。本文研究程序归纳:能否仅凭输入–输出示例,推断训练阶段未出现过的程序对新输入的作用。作者提出 Joint-Embedding Program Inductive Architecture(JEPIA),通过学习共享表征,使任务示例之间拟合出的变换能够预测新输入的输出表征。 核心机制是先编码任务的输入–输出示例,再在嵌入空间中拟合变换;新输入经过编码和该变换后得到预测输出嵌入。预测误差通过拟合过程训练共享编码器,使表征直接服务于任务内推断。作者以可解析拟合的旋转和反射作为变换,并对嵌入施加防坍塌正则。摘要未给出具体损失形式、正则实现或从输出嵌入恢复实际输出的方式。 作者报告,在模加法任务中,数字嵌入按数值顺序形成环状结构,为模型预测留出加法提供了解释;在立方体变换任务中,模型从由两步操作构成的训练程序,迁移到由更短和更长操作序列生成的程序。作者还报告,增加上下文示例以及扩大训练程序覆盖范围能够改善留出预测。摘要未提供具体指标、分数、基线和划分细节,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可探索的机制对应是,将 EEG 会话间的表征差异近似为受约束的潜空间变换,利用少量配对校准示例拟合,而非直接迁移其程序归纳结论。可复用的是共享编码器与任务内拟合流程;需要改造 EEG 编码、配对监督及变换约束。低信噪比、通道变化和少量校准数据可能使拟合不稳定,真实会话差异也未必能由旋转或反射表达。一个可证伪的小实验是在固定任务的 Cross-session 划分下,以相同校准量比较潜空间变换适配与不适配基线,并严格分离校准集和测试集。该设想不是本文已验证结果,相关 EEG 工作尚未检索确认。
值得关注的是 JEPIA 将任务内变换拟合纳入共享表征的训练过程,并在未见程序上检验推断能力;其对 EEG 跨会话适配的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net