面向视频质量评估的自监督表征学习

基于摘要分析。该研究针对无参考（NR）视频质量评估（VQA）中质量标注不足、直接迁移图像预训练模型存在领域不适配的问题，提出多任务自监督预训练框架，并结合 CNN 与 Transformer 建模视频的短期和长期时空依赖；主要研究对象是视频感知质量，而非 EEG 或 BCI。 方法以失真程度、失真类型及帧率对视频感知质量的影响为依据，生成自监督样本与标签，通过三个前置任务学习原始视频与失真版本之间的时空差异，并使用 Siamese network。摘要未披露各任务的具体定义、损失形式和组合方式。模型利用 3D-CNN 与 2D-CNN 建模短期时空依赖，再通过 Transformer 建模长期时空依赖。作者称，该框架可放宽对原始视频质量的要求。 作者报告，在四个公开视频质量评估数据库上，该方法与所比较的 VQA 算法具有竞争力；摘要未提供数据库名称、数据划分、评价指标和具体数值，不能据此判断优势幅度或跨数据库泛化能力。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是，以可控信号退化构造辅助监督，可能帮助 EEG 编码器识别噪声及时间结构变化。可复用的是成对样本、多任务自监督和短长期时序建模思路；需重新定义 EEG 的扰动、通道结构及任务目标，不能将视频帧率或视觉失真标签直接等同于神经信号质量。低信噪比、跨被试差异、通道变化和小样本可能使模型只学到人工扰动特征，甚至把有效神经活动当成退化。一个可检验的小实验是，在固定被试划分和相同编码器下，对比无预训练与成对扰动自监督预训练，检查其对下游 EEG 任务及真实噪声条件的帮助，并避免同一原始片段的不同版本跨训练与测试集。已有 EEG 相关工作尚未检索确认。