面向视频问答的自顶向下活动表征学习

基于摘要分析。本文研究 VideoQA 中的层次化人类活动理解：如何从跨越较长时间、非连续出现的原子动作中识别高层情境事件。作者提出将长时视频序列转换到空间图像域，利用 CLIP 的空间视觉上下文表征能力，并微调 LLaVA 完成 VideoQA。 核心动机是：增强连续视频时序推理，并不必然能够捕获由分散动作共同构成的事件语义。该方法尝试借助空间域表示，使这些非连续视觉信息能够参与情境事件建模。摘要未说明视频到图像的具体转换方式、帧选择与排列策略、CLIP 和 LLaVA 的连接方式，以及微调范围与训练目标，尚不能据此还原实现。 结果方面，作者报告在 STAR 任务上取得有竞争力的表现；在 NExTQA 任务上，Accuracy 为 78.4%，比摘要所称的当时最优结果高 2.8 个百分点。摘要未提供对应数据划分、基线名称或统一比较设置，因此该数值只能在作者所述任务背景下理解，不能扩展为其他协议下的优势。实验协议、消融及统计信息尚未验证。 全文核对重点包括：空间转换是否保留动作顺序与时间间隔，以及收益来自事件级表示、输入组织方式还是模型微调。原研究对象是视频问答，材料未提供 EEG 或 BCI 验证，不能将其结果视为神经信号任务上的有效性证据。