跳到正文
OpenReview · State space models· Yusha Liu; Yining Wang; Aarti Singh·· 2020-01-01精选AI 评分85

平滑 Bandit 优化:推广至 Hölder 空间

Smooth Bandit Optimization: Generalization to Hölder Space

AI 导读

基于摘要分析。本文研究平滑奖励函数下以最小化累积遗憾为目标的 bandit 优化,将既有针对 0<α≤1 的 Hölder 连续函数研究推广至 α>1 的 Hölder 空间,以利用奖励函数的高阶平滑性,并进一步研究未知平滑度下的自适应问题。 核心机制是对定义域进行离散分箱,在箱内使用允许模型失配的线性或多项式 bandit 算法,组成两层算法。与 Hölder 连续函数情形中可达到最优性的箱内随机采样相比,该机制借助局部函数近似利用更高阶的光滑结构,而非仅依赖邻近位置的奖励相似性。 作者报告,在 α>1 的研究设定下,所提算法的累积遗憾上界为 Õ(T^((d+α)/(d+2α))),并与既有下界匹配,其中 T 为交互轮数、d 为定义域维度、α 为平滑指数。对于未知平滑度,作者将 bandit 模型选择与两层算法结合,在连续 Hölder 空间族上研究自适应;作者报告其自适应遗憾率在 α≤1 的子范围内匹配既有自适应下界,不能据此扩展为整个 α>1 范围均达到自适应最优。噪声、定义域、失配控制等理论条件,以及实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG/BCI 系统存在低维连续参数,并能获得随参数平滑变化的在线标量反馈,该机制可能用于参数搜索,而非直接替代 EEG 解码器。可复用的是分箱与局部 bandit 建模;需改造的是反馈定义、噪声处理及安全约束。低信噪比、跨被试差异或奖励随时间漂移可能破坏局部近似,小样本也可能不足以支持细分箱。一个可检验的小实验是在固定被试、固定会话的离线回放环境中,以相同反馈预算比较该机制与分箱随机采样的累积遗憾,并核对局部平滑假设。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是其以分箱内失配线性或多项式 bandit 利用高阶平滑性的机制,以及与既有下界匹配的遗憾界;这些理论保证的具体假设仍需查阅全文核对。

来源:OpenReview · State space models · openreview.net