跳到正文
OpenReview · State space models· Yusha Liu; Yining Wang; Aarti Singh·· 2021-01-01精选AI 评分83

平滑 Bandit 优化:推广至 Hölder 空间

Smooth Bandit Optimization: Generalization to Holder Space

AI 导读

该研究面向平滑奖励函数的 bandit 优化,以最小化累积遗憾为目标,将既有针对 Hölder 指数 0<α≤1(包括 Lipschitz 情形)的研究推广至 α>1,考察如何利用更高阶平滑性改善理论遗憾率。基于摘要分析,未取得论文全文。 核心机制是将决策域离散分箱,并在箱内运行允许模型失配的线性或多项式 bandit,形成两层算法。与针对较低阶 Hölder 连续函数的箱内随机采样方式相比,该方法旨在利用局部高阶结构。作者报告,在 α>1 的设定下,所提算法具有 Õ(T^((d+α)/(d+2α))) 的累积遗憾上界,并与已有下界匹配,其中 T 为交互轮数、d 为决策域维度;摘要未展开该界所需的全部假设及隐藏项。 对于未知函数平滑度,作者进一步结合 bandit 模型选择与上述两层算法,在由 α 索引的连续 Hölder 空间族上研究自适应。作者报告,其自适应遗憾率在 α≤1 的子集内匹配已有自适应下界;不能据此扩展为所有 α>1 情形均达到自适应最优。具体反馈噪声条件、分箱策略、模型失配控制、计算开销及实验验证尚未验证。 平台推测(待验证):若 BCI 在线参数调节可表示为低维连续动作上的奖励优化,且局部奖励具有足够平滑性,可考虑复用分箱与局部多项式 bandit。该对应依赖动作坐标、在线标量反馈及足够交互预算,而非直接利用 EEG 时序结构;需要针对奖励噪声、被试差异和跨会话漂移改造局部模型与更新机制。低信噪比、小样本及非平稳性可能使高阶局部拟合失效。一个可证伪的小实验是在固定交互预算的低维 BCI 参数回放环境中,与分箱随机采样比较累计奖励,并在可计算参考最优值时比较累积遗憾,同时检验噪声和漂移增强后收益是否消失。已有 EEG 相关应用尚未检索确认。

阅读价值

值得关注其通过分箱内的失配线性或多项式 bandit 利用高阶平滑性的机制,以及未知平滑度下的自适应遗憾界;这些理论结论尚不能直接视为 BCI 在线优化的有效性证据。

来源:OpenReview · State space models · openreview.net