跳到正文
arXiv · 在线与高效推理· Kushagra Chandak; Volodymyr Tkachuk; Xiaoqi Tan; Csaba Szepesvári·· 6 天前精选AI 评分82

离线到在线线性 Bandit 的高斯宽度界

Gaussian-Width Bounds for Offline-to-Online Linear Bandits

AI 导读

基于摘要分析。本文研究随机线性 Bandit 中离线数据如何帮助在线学习,重点考虑 d 个特征方向中仅有 k 个方向覆盖不足的情形。作者通过更紧地控制奖励预测误差,提出阶段式淘汰算法,并研究离线数据辅助纯探索时的简单遗憾界。 核心机制:作者认为,现有基于阶段式淘汰和乐观原则的分析得到 Õ(√(dkT)) 量级的累积遗憾界,源于对奖励预测误差的控制较松。作者使用高斯向量的 Lipschitz 函数集中性质改进分析,并报告在上述部分覆盖设定下获得 Õ(k√T) 的算法遗憾上界,其中 T 为在线交互轮数。这是理论界的改进,不能据此推断实际任务中的性能增益。 理论范围:作者报告,在单位欧氏球动作空间、离线数据部分覆盖条件下证明了匹配的遗憾下界,并在均匀离线覆盖条件下给出匹配的上下界。对于纯探索,作者还报告了固定设计算法与自适应算法在部分覆盖和均匀覆盖条件下的简单遗憾上下界。摘要未给出这些界的具体形式;覆盖的精确定义、噪声假设、离线样本规模及隐藏因子尚未验证。 平台推测(待验证):若 EEG 驱动的交互决策可建模为随机线性 Bandit,且历史数据确实充分覆盖多数特征方向,该框架可能用于分析离线初始化后仍需探索的方向。可复用的是覆盖感知的探索分析与阶段式淘汰思路;需改造的是 EEG 特征、动作及奖励的定义。低信噪比、跨被试或跨会话漂移、小样本及通道变化可能使线性奖励或稳定覆盖假设失效。一个可证伪的小实验是在可控线性 Bandit 仿真中固定 d、在线轮数和离线样本规模,仅改变覆盖不足方向数 k,比较算法与现有基线的累积遗憾;该实验只能检验理论机制,不能验证 BCI 有效性。已有 EEG 相关工作尚未检索确认。全文证明、实验协议、消融及统计信息尚未验证。

阅读价值

值得核对其如何通过更紧的奖励预测误差控制,将离线数据部分覆盖条件下的遗憾界对特征维数的依赖转化为对覆盖不足方向数的依赖,以及匹配下界适用的动作空间与覆盖假设。

来源:arXiv · 在线与高效推理 · arxiv.org