利用正交梯度从流式视频中学习

基于摘要分析。本文研究连续视频流中的自监督表征学习，针对顺序输入的时间相关性破坏常规训练所依赖的独立同分布（IID）采样假设、导致表征性能下降的问题，提出利用正交梯度修改优化器，以缓解流式训练相对于打乱采样训练的性能损失。 常规视频学习将视频切分并打乱，以构造相关性较低的批次；本文则关注只能顺序接收视频流的条件。其核心机制是在优化步骤中引入几何修改，利用正交梯度降低连续批次相关性对训练的影响。作者称该修改可用于任意优化器，并以 SGD 和 AdamW 展示应用；摘要未提供正交化参照、梯度历史保存方式或具体更新公式，这些实现细节尚未验证。 作者报告，在单视频表征学习方法 DoRA、多视频数据上的 VideoMAE，以及未来视频预测三种场景中，从打乱采样改为顺序学习均出现性能下降；在相应流式训练场景下，所提正交优化器在下游评估中均优于 AdamW。摘要未列出数据集名称、下游任务、指标、增益或计算成本，因此不能判断改善幅度及适用边界；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，连续 EEG 窗口的时间相关性也可能使自监督训练受到相似影响。可复用的是优化器层面的梯度处理思路，但视频场景中的有效性不等于 BCI 有效性；需适配 EEG 窗口划分、梯度历史跨度和会话边界，并检验正交化是否抑制了真实且持续的神经信号。低信噪比、通道变化和小数据条件可能使梯度方向不稳定，跨被试分布差异也未必能由梯度正交化解决。一个可证伪的小实验是在固定 EEG 编码器、自监督目标与训练预算下，对照顺序采样和打乱采样中的 AdamW 与正交修改版，按预先固定的被试内或跨会话划分评估表征及训练开销。已有 EEG 相关工作尚未检索确认。