OpenReview · State space models· Anders Aamand; Justin Y. Chen; Huy Lê Nguyen; Sandeep Silwal·· 2023-01-01精选AI 评分79
专家建议学习的改进空间界
Improved Space Bounds for Learning with Experts
AI 导读
基于摘要分析。本文研究含 n 个专家、持续 T 天的专家建议在线学习问题,核心贡献是在空间预算受限时改进空间与遗憾之间的理论权衡;研究对象是通用在线学习算法,而非 state space models 或 EEG/BCI 模型。 作者报告:当空间预算为 n^δ、δ∈(0,1) 时,所提出算法的遗憾上界为 Õ(n²T^{1/(1+δ)}),优于摘要所引 [PZ23] 的 Õ(n²T^{2/(2+δ)})。在相同空间预算表达下,改进体现为 T 的指数降低。当 δ→1 时,作者报告该界趋近 Õ_n(√T),在 T 的依赖关系上匹配不受空间限制的标准在线设定;这不表示其对 n 的依赖或其他计算成本也与该设定相同。 摘要未提供实现这一改进的算法机制、损失反馈条件、随机化要求、空间计量方式及证明细节,以上内容尚未验证,不能仅凭遗憾界推断实际内存占用或运行效率。 平台推测(待验证):若 EEG 在线系统需要在大量候选解码器或预测器之间组合建议,且可将任务表述为具有相应损失反馈的专家学习问题,空间—遗憾权衡可能具有参考价值。但摘要不足以确定可复用模块,也不能将该理论界直接解释为 EEG 分类性能提升。低信噪比、反馈延迟和跨被试非平稳性是否符合理论假设仍需核对;已有 EEG 相关工作尚未检索确认。
阅读价值
该文给出了专家建议在线学习在次线性空间预算下更优的遗憾理论上界,适合核对内存约束与时间尺度的权衡,但其对 EEG/BCI 在线集成的适用性尚未验证。
来源:OpenReview · State space models · openreview.net