跳到正文
OpenReview · State space models· Baoqi Gao; Daoxu Sheng; Lei Zhang; Qi Qi; Bo He; Zirui Zhuang; Jingyu Wang·· 2024-01-01精选AI 评分74

STAR-VP:通过空间对齐与时变融合改进 360° 视频的长期视口预测

STAR-VP: Improving Long-term Viewport Prediction in 360° Videos via Space-aligned and Time-varying Fusion

AI 导读

基于摘要分析。本文研究分块式 360° 视频自适应流传输中的长期视口预测,提出 STAR-VP,通过空间对齐和随预测时步变化的融合机制,联合利用历史视点轨迹(HT)与视频内容信息(VC),以支持更远期的视频块预下载和缓冲。 核心机制针对两个问题:HT 与 VC 模态不同,难以在空间上对应;两者对预测的相对重要性随预测时步变化。作者提出显著性表示 salxyz 和 Spatial Attention Module 处理空间对齐,再以基于 Transformer 与门控机制的两阶段融合捕捉时变重要性。摘要未提供 salxyz 的具体构造、训练损失或融合阶段的实现细节。作者以注意力分数可视化说明模型的空间对齐与时变融合行为,但其解释效力仍需结合正文核对。 作者报告,在三个公共数据集上,STAR-VP 在长期(2–5 秒)视口预测中达到最先进的准确性,同时未牺牲短期(小于 1 秒)预测性能。摘要未列出数据集名称、指标定义、数值、划分方式和对照模型,因此不能量化提升,也不能跨协议比较;实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能为具有明确空间对应关系的 EEG 与视觉刺激联合建模提供参考,但原研究对象是视点轨迹与视频内容,并非神经信号。迁移假设依赖同步的视觉内容、EEG 和任务监督;可借鉴时变门控,空间对齐则需依据电极位置或其他神经表征重新设计,不能直接照搬 salxyz。低信噪比、跨被试差异、通道变化和小数据均可能使融合失效。一个可证伪的小实验是在固定跨被试划分下比较静态融合与时变门控,并通过打乱视觉—EEG 时间对应关系检验增益是否依赖真实同步信息。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其对异构模态空间对齐与预测时步相关融合的联合处理,但摘要中的性能结论仍需结合具体指标和对照协议核验,尚不能据此推断 EEG/BCI 效果。

来源:OpenReview · State space models · openreview.net