缓解多视图表征学习的样本低效问题

基于摘要分析。本文研究计算机视觉中非对比自监督学习（NC-SSL）的样本与计算效率，围绕 BarlowTwins 和 VICReg 为何常依赖高维投影头及同一图像的两个增强视图提供理论解释，并据此提出低维投影头正则化与增加每样本增强视图的预训练建议。 机制方面，作者认为特征正交性比投影头维度更关键，并报告适当正则化可使低维投影头获得良好表征；具体正则化形式及理论成立条件尚未验证。另一项理论分析指出，多个数据增强视图更能体现自监督目标的要求。作者报告，增加每个样本的增强数量可改善表征质量、可训练性和优化收敛，使较好的特征更早出现。 结果方面，作者报告，仅增加数据增强即可在保持 Accuracy 并改善收敛的同时，将预训练数据集规模最多缩减至原来的四分之一；摘要未给出该结果对应的数据集、增强数量、基线设置和具体 Accuracy。作者另报告，结合上述建议，在使用 ResNet-50 backbone 的 CIFAR-10/STL-10 实验中取得性能提升及 2 倍实际运行时间效率改进，但具体耗时、性能指标和比较条件尚未验证。实验协议、消融及统计信息尚未验证，需全文核对增强带来的额外计算成本如何计入效率比较。 平台推测（待验证）：迁移假设是，特征正交性约束及多视图自监督目标可能帮助缓解 EEG 小数据预训练中的表征冗余与收敛问题。可复用的是损失分析思路、投影头及多视图训练框架；需改造的是图像增强，转为能保留任务相关信息的 EEG 增强。该假设依赖同一样本不同视图共享有效信息，低信噪比、通道差异及跨被试分布变化可能使增强破坏标签语义或强化噪声。一个可检验的小实验是在固定被试划分和计算预算下，对比两个与更多增强视图，并交叉比较高维投影头和带正则化的低维投影头，观察收敛速度及下游任务 Accuracy。已有 EEG 相关工作尚未检索确认，原图像实验不构成 BCI 有效性证据。