面向预测任务类的表征学习博弈
A representation-learning game for classes of prediction tasks
基于摘要分析。研究关注未来预测任务尚未确定、但已知其所属任务类时,如何学习降维表征并控制信息压缩造成的预测损失。作者提出双人博弈:第一方选择表征,第二方从给定任务类中对抗性地选择预测任务,以比较压缩表征与原始特征所能达到的最小预测损失。 核心机制是以预测遗憾(regret)作为博弈目标,即使用表征时的最小预测损失相对于使用原始特征时的差异;表征方最小化遗憾,任务方最大化遗憾。任务类承担先验知识的作用,因此框架并非针对单一已知任务优化降维,而是面向一组可能出现的任务控制最坏情形代价。 在表征、待预测响应及预测器均为线性函数、损失为均方误差的设定下,作者报告推导了纯策略下的理论最优表征,以及混合策略下的最优遗憾,分别用于说明任务先验与表征随机化的作用。对一般表征、预测函数和损失函数,作者提出仅需损失梯度的随机化表征优化算法,通过逐步向混合中加入表征规则进行优化。摘要未提供数据集、实验指标或具体实现;理论成立条件、随机化在训练与推理中的执行方式、实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 特征上的未来任务可被合理界定为一个任务类,该框架可能用于检验降维是否保留多任务预测所需的信息,而不只优化单一标签。可复用的是任务类约束、遗憾目标和混合表征优化思想;需改造的是 EEG 特征构造、任务类定义及损失设计。任务先验失配、低信噪比、跨被试分布变化、通道不一致与小数据下梯度估计不稳定,都可能使原领域机制无法直接迁移。一个可检验的小实验是在固定 EEG 数据划分和预先定义的任务类上,比较原始特征、同维度确定性表征与随机化表征的各任务预测损失及最坏情形遗憾,并分别报告被试内与跨被试结果。已有 EEG 相关工作尚未检索确认。
值得阅读其以任务类先验约束最坏情形预测遗憾的表征学习框架,以及纯策略最优表征与混合策略最优遗憾的理论区别;其对 EEG 降维的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net