跳到正文
OpenReview · Representation learning· Shihong Ding; Fangyu Du; Cong Fang·· 2026-05-01精选AI 评分78

用于共享线性表征多任务学习的近最优高效一阶算法

Near-Optimal and Efficient First-Order Algorithm for Multi-Task Learning with Shared Linear Representation

AI 导读

基于摘要分析。本文研究具有共享线性表征的多任务学习,针对矩阵分解带来的非凸优化困难,提出联合学习共享表征与任务特定参数的一阶算法,并给出计算效率和估计误差保证。研究对象是通用多任务学习,而非 EEG 或 BCI 解码。 作者报告,该算法在文中理论条件下以 Õ(1) 次迭代收敛,并达到 Õ(dk/(TN)) 的近最优估计误差,其中 d 为输入维度、k 为表征维度、T 为任务数、N 为每个任务的样本数;作者报告,相比既有基于似然的方法,其误差界改善了 k 倍。上述量是理论阶数而非实测准确率,Õ 隐藏对数因子;摘要未明确估计误差的具体定义、分布条件、初始化要求及收敛精度,不能据此理解为任意问题规模下均以固定迭代次数完成学习。 核心贡献是说明基于似然的一阶方法也能高效处理共享线性表征的非凸联合估计。具体似然模型、更新规则、对照方法及理论适用范围需查阅正文;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若多个被试或会话的 EEG 特征具有近似共享的低维线性结构,可将被试或会话视为任务,探索共享表征与任务特定解码参数的联合估计。可复用的是这一参数共享框架;需改造和核对的是通道与特征对齐、任务似然以及 EEG 噪声假设。低信噪比、被试差异、通道不一致或每任务样本过少,都可能使共享线性结构失效。一个可检验的小实验是在固定特征、相同被试内训练与测试划分下,比较联合学习、逐被试独立学习及既有共享线性基线,并改变每被试训练样本量,观察共享是否产生负迁移;这不构成跨被试泛化证据。已有 EEG 相关工作尚未检索确认。

阅读价值

该工作的阅读价值在于将共享线性表征的似然学习同时置于计算效率与估计误差的理论框架下,但其保证依赖的统计假设及对 EEG 跨被试学习的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net