跳到正文
OpenReview · State space models· Fengchuang Xing; Yuan-Gen Wang; Weixuan Tang; Guopu Zhu; Sam Kwong·· 2023-01-01精选AI 评分73

StarVQA+:用于视频质量评估的时空注意力联合训练

StarVQA+: Co-training Space-Time Attention for Video Quality Assessment

AI 导读

StarVQA+ 面向缺乏原始参考、拍摄失真未知的自然场景视频质量评估(VQA),通过时空注意力、向量化评分回归及图像与视频联合训练,改善 Transformer 对主观质量评分的建模。以下基于摘要分析,未取得论文全文。 核心机制包括三个部分:交替串接分离的空间注意力与时间注意力;将平均意见分数(MOS)编码为概率向量,并嵌入一个作为 MOS 可学习变量的特殊 token,构建向量化回归损失;同时利用图像和视频联合训练空间、时间注意力权重,以缓解 Transformer 对训练数据量的需求。作者认为该评分表示更贴近人类评分过程,但概率向量的具体编码、损失公式和联合训练调度尚未验证。 作者报告在 LIVE-Qualcomm、LIVE-VQC、KoNViD-1k、YouTube-UGC、LSVQ、LSVQ-1080p 和 DVL2021 上开展实验,并取得优于当时先进方法的结果。摘要未提供指标数值、数据划分及具体对照方法,因此无法量化优势或判断不同数据集结果是否可直接比较;实验协议、消融及统计信息尚未验证。复现还需核对视频采样、图像训练数据、MOS 处理方式及训练配置,代码可用性尚未验证。 平台推测(待验证):若目标是 EEG 信号质量或伪迹严重程度评分,而非直接进行 BCI 意图解码,可探索其概率向量评分表示与时空分解注意力。原方法依赖视频空间结构、时间序列及主观评分监督;迁移时需要将视觉空间表示改为 EEG 通道或拓扑表示,并建立一致的质量评分标签。图像与视频联合训练不能直接等同于 EEG 跨被试或跨数据集训练,低信噪比、通道布局差异及小样本可能使注意力学习不稳定。一个可检验的小实验是在固定跨被试划分与相同编码器条件下,对比标量回归和 MOS 概率向量回归,检验后者是否改善 EEG 质量评分误差与排序一致性。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其 MOS 概率向量回归与图像、视频联合训练如何改善自然场景视频质量评估,但摘要中的性能优势尚需结合评估协议和消融验证,不能视为 EEG/BCI 有效性的证据。

来源:OpenReview · State space models · openreview.net