跳到正文
arXiv · 在线与高效推理· Yanyi Li; Wendao Wu; Haihan Zhang; Qinshi Wang; Chenheng Zhang; Chunyuan Zheng; Cong Fang; Haoxuan Li; Zhouchen Lin·· 20 小时前精选AI 评分85

指数凹在线学习中维度最优的动态遗憾

Dimension-Optimal Dynamic Regret in Exp-Concave Online Learning

AI 导读

基于摘要分析。本文研究指数凹(exp-concave)损失下,在线学习器如何跟踪随时间变化的比较序列,核心贡献是刻画动态遗憾对维度 d、轮数 T 和欧氏路径长度 P_T 的联合依赖。作者报告,将既有 switching 与 interval reductions 所得的 d^{2/3} 维度因子改进为 d^{1/3},并给出相应下界。 方法面向 R^d 中紧凸集合上的全信息在线学习,学习器输出仍位于原决策集合内,并可适应未知路径长度。在直径、梯度及曲率参数固定且不随维度变化的前提下,作者报告动态遗憾上界为 Õ(d + min{d^{1/3}T^{1/3}P_T^{2/3}, √(TP_T), T}),其中 Õ 隐去对数因子。该结论不只是固定维度下关于 T 与 P_T 的速率改进,而是进一步明确了维度代价及不同路径预算下的速率转换。 证明机制包括以 square-root Gaussian KL 控制比较序列的移动,以及通过抵消论证处理历史重启的代价。作者报告,曲率型学习器维护 O(log² T) 个 Gaussian states,每轮使用一次梯度;在提供 Mahalanobis-projection oracle 的条件下,总运行时间关于 T 近线性。这一效率表述依赖 oracle 条件,不能直接等同于任意决策集合上的实际近线性实现。 作者还在直径为一的欧氏球上建立匹配下界:当 T ≳ d² 时,在对数因子范围内刻画 minimax 边界,并覆盖从曲率型速率向更大路径预算的转换。下界甚至适用于每轮损失仅依赖一个坐标的情形,用于说明跨方向学习存在不可避免的代价。 摘要未提供经验实验或 EEG/BCI 验证;完整假设、投影实现及证明细节尚未验证。本文首先是一项在线学习理论结果,不能据此认定其已解决跨被试、跨会话或神经信号漂移问题;已有 EEG 相关工作尚未检索确认。

阅读价值

该研究值得关注之处是将 exp-concave 在线学习动态遗憾界中的维度因子由 d^{2/3} 改进为 d^{1/3},并在限定条件下给出匹配下界;实际计算成本仍需结合全文中的投影 oracle 条件核对。

来源:arXiv · 在线与高效推理 · arxiv.org