Video-LLaVA：通过投影前对齐学习统一视觉表示

基于摘要分析。Video-LLaVA 研究大型视觉语言模型（LVLM）中图像与视频表示不统一的问题，提出在投影前对齐视觉表示，再将其映射到语言特征空间，以支持图像与视频混合学习。其主要研究对象是视觉语言理解，而非 EEG 或 BCI。 机制上，作者认为，既有方法将图像和视频编码到不同特征空间，未统一的 token 化会使后续投影层难以支持 LLM 学习多模态交互。Video-LLaVA 将表示对齐置于投影之前，建立统一视觉表示，并利用混合图像与视频数据训练。摘要未披露具体编码器、对齐目标、投影结构、训练阶段和数据规模，这些实现条件尚未验证。 作者报告，模型在涵盖 5 个图像问答数据集和 4 个图像评测工具集的共 9 项图像基准上取得较优表现；在 MSRVTT、MSVD、TGIF 和 ActivityNet 上，相对 Video-ChatGPT 分别提升 5.8%、9.9%、18.6% 和 10.1%。摘要未说明这些提升对应的指标、计算方式和数据划分，因此不能将其解释为 Accuracy 的百分点增益。作者还报告统一表示使图像与视频任务相互受益；相应消融、对照设置和统计信息尚未验证。 平台推测（待验证）：若 EEG 与配对视觉或文本监督能够形成可靠对应，“先对齐、后投影”可作为缓解跨模态表示错配的假设路径，但原领域结果并不证明其在 BCI 中有效。可借鉴对齐顺序与统一表示思路，EEG 编码器、时间聚合及监督构造则需改造；低信噪比、跨被试差异、通道不一致和小数据可能使对齐失效。一个小规模可证伪实验是在固定 EEG 编码器、训练数据和投影容量后，对比有无投影前对齐在同一跨被试划分下的表现。已有 EEG 相关工作尚未检索确认。