缓解多视图表征学习中的样本低效问题

基于摘要分析。本文研究图像多视图自监督表征学习的样本效率问题，基于已有理论将不同框架共同优化的理想化目标重写为功能等价、计算更高效的损失，并据此提出正交化、投影维度和增强视图数量方面的实践建议。 核心机制是让所学特征匹配由数据增强定义的数据相似性核。作者分析了梯度下降优化重写损失时的隐式偏置，据此提出使用更强的正交化约束和更低的投影器维度；同时，理论分析提示，增加增强视图数量可改善对重写损失的近似，从而改善收敛。摘要未提供损失公式、约束实现或具体维度，尚不能判断这些因素各自的贡献及计算开销。 作者报告，在 CIFAR、STL 和 Imagenet 上，以 ResNet 为骨干网络采用上述建议，可改善线性读出表现；作者还报告，在其所评估设置中，通过增加数据增强，可将预训练数据集规模最多缩减至原来的二分之一，同时维持下游 Accuracy。摘要未说明该结果对应的具体数据集、划分、增强数量、对照基线和准确率数值，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 的多视图增强能够保留任务相关信息，该方法可能为小样本自监督预训练提供可检验的思路。可复用部分是多视图损失及正交化原则，需要改造的是图像增强及其定义的相似性结构；低信噪比、跨被试差异和通道变化可能使增强破坏有效信号，强正交化也可能压制有用的相关成分。一个小规模检验是假设在固定 EEG 数据划分、骨干网络和总计算预算下，增加有效增强视图能降低达到相同线性读出 Accuracy 所需的预训练样本量，并分别控制投影维度与正交化强度。已有 EEG 相关工作尚未检索确认。