空间与时间上的稀疏性：利用可训练选择器实现音视频同步

基于摘要分析。本文研究自然场景视频的音视频同步：可用于对齐的事件可能只占很小的画面区域，且在较长片段中偶发出现。作者提出带有可训练 selectors 的多模态 Transformer，将长音频流与视觉流提炼为较短序列，再预测两者的时间偏移。 与说话人正面视频中时空较密集的音画对应不同，本文面向同步线索在空间和时间上均稀疏的场景。其核心机制是先压缩长序列，再利用压缩后的跨模态表征估计偏移。摘要未说明 selectors 的具体结构、监督方式、损失函数及输入特征，不能据此判断其是否采用硬选择或如何保持时间定位精度。 作者还识别了音视频压缩编解码可能引入的伪影，指出模型可能利用这些线索人为解决同步任务；并整理了一个同步信号在时空上稀疏的数据集。作者报告在稠密与稀疏数据集上均进行了定量和定性验证，但摘要未提供数据集名称、规模、划分、对照方法或具体指标；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 与外部音视频之间存在稀疏、可定位的事件对应，selectors 的长序列压缩机制可能用于筛选跨模态对齐线索；这是假设，并非本文已验证的 BCI 效果。可复用的是序列筛选与偏移预测思路，需改造 EEG 输入表征及时间对应建模。低信噪比、通道差异和小样本可能使选择器遗漏弱事件或依赖伪影。一个可证伪的小实验是在具有已知同步关系的 EEG—刺激记录上注入时间偏移，在相同划分与训练预算下比较 selectors 和等长均匀采样的偏移估计误差，并检查被选片段是否覆盖真实事件。已有 EEG 相关工作尚未检索确认。