利用正交梯度从流式视频中学习

基于摘要分析。本文研究连续视频流中的自监督表征学习：相邻输入具有时间相关性，不能像常规视频训练那样通过切分与打乱构造近似独立同分布的批次。作者提出对标准优化器进行几何修改，在训练中利用正交梯度降低批次相关性带来的不利影响，而非依赖打乱视频输入。 作者在三种场景中考察从打乱训练转向顺序训练的性能下降：单视频表征学习方法 DoRA、多视频数据集上的 VideoMAE，以及未来视频预测。作者称该修改可应用于任意优化器，并以 SGD 和 AdamW 展示其应用；作者报告，在上述三种场景的相应评估中，正交优化器均优于标准 AdamW，并缓解流式训练的表征性能下降。摘要未给出具体数据集、评估指标、收益幅度或统计不确定性，因此不能据此判断收益规模或比较不同任务的效果。 机制层面，目前只能确认其利用梯度正交化进行优化器级修正；正交化参照对象、历史梯度保存方式、更新公式及额外计算成本尚未验证。复现需进一步核对顺序输入协议、批次构造、优化器超参数、下游评估设置，以及消融和统计信息。 平台推测（待验证）：可检验的迁移假设是，连续 EEG 自监督训练中的相邻窗口相关性也可能受益于此类优化器修正；这不等于已证实的 BCI 效果。可复用部分是优化器更新机制，需改造并核对的是 EEG 窗口构造、任务目标及跨会话非平稳性处理。低信噪比、小数据和被试或通道变化可能使有用的重复梯度被抑制。一个小规模检验是在固定 EEG 编码器、目标和数据划分下，对照顺序输入的 AdamW、正交优化器与打乱输入的 AdamW，评估相同下游任务并记录计算开销；必须避免重叠窗口跨训练与测试划分。相关 EEG 工作尚未检索确认。