具有全局与局部结构的多任务 Bandit 中表示学习的样本复杂度
On the Sample Complexity of Representation Learning in Multi-Task Bandits with Global and Local Structure
基于摘要分析。本文研究多任务 Bandit 中固定置信度的最优臂识别问题,核心贡献是刻画共享表示与任务特定预测器的识别样本复杂度,并提出样本复杂度逼近相应下界的 OSRL-SC。这里的 representation 与 predictor 是臂的两个组成部分,摘要未将其定义为神经网络编码器与分类头。 问题假设各任务的最优表示相同,而最优预测器可以随任务变化。每轮学习者主动选择一个任务及一条臂,并观测对应奖励,目标是在规定置信水平下识别最优共享表示和各任务的最优预测器。作者推导了适用于相关识别算法的实例相关样本复杂度下界,并设计 OSRL-SC 分别学习这两类成分。作者报告,理论与数值结果表明,相较经典最优臂识别算法,OSRL-SC 的样本复杂度随任务数增长的尺度更优;摘要未提供具体数值、对照算法名称或数值实验配置。 其主要价值是分析何种共享结构能够减少跨任务探索成本,而非直接提出 EEG 表征学习方法。摘要提供了代码地址,但实现细节、下界逼近所需条件、奖励分布假设及实验协议尚未验证。 平台推测(待验证):若 BCI 校准可形式化为主动选择任务与候选配置、并获取可比较奖励的过程,这一框架可能为跨任务共享配置的探索预算分配提供理论参考。可复用的是结构化最优臂识别思路,需改造的是任务、臂及奖励的定义,而非直接移植为 EEG 解码网络。其关键风险是跨被试最优共享成分未必一致,低信噪比与非平稳反馈也可能影响适用性。一个可证伪的小实验是在预先限定的候选配置和一致奖励协议下,对比共享结构方法与逐任务独立识别达到相同置信目标所需的交互次数,并检验共享最优配置假设被破坏时的表现。已有 EEG 相关工作尚未检索确认。
值得关注其如何用实例相关样本复杂度下界分析共享表示的跨任务收益,并以 OSRL-SC 分别识别共享表示与任务特定预测器;其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net