跳到正文
OpenReview · State space models· Quan Zhou; Mark Kozdoba; Shie Mannor·· 2025-09-16精选AI 评分73

大动作空间 Meta-Bandits 的代表性动作选择

Representative Action Selection for Large Action Space Meta-Bandits

AI 导读

基于摘要分析。本文研究一组共享大型动作空间的 bandit 任务:能否仅选择一个代表性动作子集,就获得接近使用完整动作空间的性能。作者以 Gaussian process 建模相似动作之间的收益关联,提出简单的 epsilon-net 算法用于选择代表性子集,并提供理论性能保证。 核心机制是利用动作空间中的相似性结构进行覆盖式筛选,而非将所有动作视为彼此无关的候选项。摘要未说明动作相似性的具体定义、Gaussian process 的核函数、epsilon-net 的构造与计算成本,也未给出理论保证所依赖的假设及界的具体形式,这些内容尚未验证。 作者报告进行了与 Thompson Sampling、Upper Confidence Bound 的实证比较,但摘要未提供任务、动作规模、子集大小、评估指标或数值结果,因此目前无法判断性能与计算开销的权衡。还需核对这些基线使用完整动作空间还是筛选后的子集,以及跨 bandit 任务的信息如何用于子集选择;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若某类 BCI 在线决策确有大型候选动作集合,且动作相似性能够稳定预测反馈收益,这种代表性筛选可能用于减少探索候选数,但并非 EEG 解码方法。可复用部分是子集构造,需改造部分是动作表示、相似性度量及反馈模型;低信噪比、跨被试差异和小样本反馈可能破坏收益相关性假设。一个可检验的小实验是在具有重复反馈的离线日志或模拟环境中,固定候选预算,对比 epsilon-net 子集、随机子集与完整动作空间的累计收益及计算成本。已有 EEG 相关工作尚未检索确认,原领域的理论保证不能直接视为 BCI 有效性的证据。

阅读价值

值得关注的是利用动作间的收益相关性压缩共享动作空间,并为代表性子集提供理论保证;其适用条件与相对 Thompson Sampling、Upper Confidence Bound 的实际收益尚需全文核对。

来源:OpenReview · State space models · openreview.net