在线最小二乘中以对数级状态实现快速动态遗憾
Fast Dynamic Regret with Logarithmic State for Online Least Squares
基于摘要分析。本文研究非平稳环境中的在线最小二乘:如何避免连续 fixed-share 实现随时间累积高斯分量的开销,同时维持随比较器路径长度变化的动态遗憾保证。核心贡献是保留证明所需的状态,而非完整 fixed-share 后验,并结合二进区间生命周期与因果有损特征表示。 作者指出,精确 fixed-share 后验即使在标量数据流上也可能需要 t 个正权重高斯分量。新方法在二进区间生命周期上应用 sleeping Gaussian exponential weights,并在可求和预算 ε 下构造特征流的因果、有损正交表示。学习器仅需标签界、参考点,以及有损版本的 ε,不依赖预先给定的时间跨度 T、比较器路径长度 P_T、特征尺度或比较器半径。分析结合对任意实参数成立的区间遗憾界,以及连接加权 birth variation 与指定高斯边缘分布耦合下最小加权分段起点成本的恒等式。 在摘要所述在线最小二乘设置下,作者报告动态遗憾为 Õ(m_T + m_T^{2/3}T^{1/3}(P_T^{obs})^{2/3}),最坏情况每轮时间和空间均为 Õ(d(1+m_t)+(1+m_t²)log(t+1))。其中 d 为原始特征维度,保留维度 m_T≤d;P_T^{obs}≤P_T,是保持所有比较器预测不变的最短路径长度。因此,“对数级状态”不能理解为总资源开销只依赖 log T,还需考虑 d 与保留维度。作者报告标量下界匹配 T 与 P_T 的指数,并给出特征秩为 T、但门控仅保留一个方向的构造,以及表明表示交叉项不可避免的实例和参考实现数值检查。数值规模、完整假设、预算选择、对照与实现细节尚未验证。 平台推测(待验证):其机制可能用于带连续目标监督的 EEG 在线回归,以应对非平稳漂移和状态增长;可复用区间专家管理与特征压缩,需改造特征提取、标签尺度及反馈流程。该假设依赖特征流可有效压缩,低信噪比、通道变化或小数据可能导致压缩丢失预测方向;回归遗憾也不能直接换算为分类 Accuracy 或 ITR。一个可证伪的小实验是在固定 EEG 特征、按时间顺序预测的同一回归协议下,对比有损与无损版本的累计平方损失、保留维度、内存和每轮耗时。已有 EEG 相关工作尚未检索确认。
值得核对其如何以区间生命周期管理和有损特征表示降低在线最小二乘的状态开销,同时保留动态遗憾保证;这一理论结果不等同于已验证的 EEG 或 BCI 性能提升。
来源:OpenReview · State space models · openreview.net