跳到正文
OpenReview · State space models· Baoqi Gao; Daoxu Sheng; Lei Zhang; Qi Qi; Bo He; Zirui Zhuang; Jingyu Wang·· 2024-07-21精选AI 评分73

STAR-VP:通过空间对齐与时变融合改进 360° 视频的长期视口预测

STAR-VP: Improving Long-term Viewport Prediction in 360° Videos via Space-aligned and Time-varying Fusion

AI 导读

基于摘要分析。该研究面向分块式 360° 视频自适应流媒体的长期视口预测,提出 STAR-VP,通过空间对齐与时变融合联合利用历史视点轨迹(HT)和视频内容信息(VC),为提前下载未来视口所需的视频块提供预测依据;研究对象并非 EEG 或 BCI。 其核心问题有两层:HT 与 VC 属于不同模态,难以直接在空间上对齐;两类信息对预测的相对重要性又随预测时间步变化。为此,作者提出显著性表示 salxyz 和 Spatial Attention Module,处理两类信息的空间对齐;随后采用基于 Transformer 与门控机制的两阶段融合,建模其随时间变化的重要性。摘要未提供 salxyz 的具体构造、融合公式、损失函数及训练设置,不能据此判断实现细节。 作者报告,在三个公开数据集的评估中,STAR-VP 对长期(2–5 秒)视口预测取得了作者所称的最先进准确度,且未牺牲短期(小于 1 秒)预测性能;作者还以注意力分数可视化展示空间对齐和时变融合行为。数据集名称、划分方式、评价指标、具体数值、基线配置、消融及统计信息尚未验证,可视化本身也不足以单独确证各模块的贡献。 平台推测(待验证):其可借鉴之处是“先建立模态对应关系,再按预测时刻调整融合权重”,而非直接将视口预测结果视为 BCI 证据。若用于 EEG 与视觉刺激联合建模,需要配对且同步的数据,并重新定义电极或源空间与视觉内容之间的对应关系,不能直接沿用 salxyz。低信噪比、跨被试差异及小数据可能使注意力和门控拟合不稳定。一个可检验的小实验是在固定编码器与被试划分下,对比固定权重融合、仅时变融合及加入空间对应约束的融合;相关 EEG 工作尚未检索确认。

阅读价值

值得核对的是 STAR-VP 如何将空间对齐与预测时刻相关的模态融合分开建模,以及这种设计能否兼顾长、短期预测;摘要报告了三个公开数据集上的结果,但具体对照、消融与统计信息尚未验证。

来源:OpenReview · State space models · openreview.net