面向预测任务类的表征学习博弈
A representation-learning game for classes of prediction tasks
基于摘要分析。本文研究如何在已知未来预测任务先验、但输入特征向量无标签的条件下,学习降维表征。核心贡献是将表征选择、对抗性任务选择与预测建模纳入三方博弈,并分别给出线性情形的理论结果和适用于更一般函数类的近似算法。 机制上,第一方选择表征,第二方随后对抗性地选择预测任务,第三方依据表征后的特征预测响应。优化目标为 regret,即使用表征所能达到的最小预测损失,相对于使用原始特征所能达到的最小预测损失的差异;第一方与第三方希望减小该差异,第二方希望增大它。因此,该框架关注的不是重建输入,而是面对预设任务类时,压缩造成的预测能力损失。 在均方误差损失,以及表征、待预测响应和预测器均为线性函数的条件下,作者报告推导了纯策略的最优表征与混合策略的最优 regret,分别说明任务先验和随机化表征的作用。作者进一步报告,最优随机化只需有限个表征,其所需数量有精确刻画,小于输入特征维度,并可能远小于该维度。对于一般损失及更一般的表征、响应函数和预测器类,作者提出基于梯度的迭代算法,以近似最优混合表征;摘要未给出具体参数化、收敛条件或实证指标,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 特征上的未来任务可被合理限定,该框架可能用于研究降维后多任务预测信息的保留。可复用部分是任务对抗与 regret 目标;需要改造的是 EEG 特征、任务类约束及表征的采样与使用方式。风险包括低信噪比、跨被试与通道变化使任务先验失配,以及小样本导致原始特征与压缩特征的最优损失难以可靠估计。一个可检验的小实验是在固定被试内划分和降维维度下,比较确定性表征与随机化表征在预先定义的线性预测任务类上的最坏任务 regret,并以原始特征预测器作为参照。该实验仅是假设性迁移验证方案,已有 EEG 相关工作尚未检索确认。
值得阅读其以预测 regret 定义降维表征质量的三方博弈框架,尤其是任务先验与随机化表征的理论作用;其对 EEG 多任务表征的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net