跳到正文
OpenReview · State space models· Haoying Sun; Shuyi Li; Zeyu Xi; Bowen Zhang; Lifang Wu·· 2025-01-01AI 评分64

DSSM-KG:用于视频描述生成的自适应知识注入双流状态空间建模

DSSM-KG: Dual-Stream State-Space Modeling with Adaptive Knowledge Injection for Video Captioning

AI 导读

基于摘要分析。该研究面向视频描述生成,针对既有方法分离处理空间与时间信息、常识知识利用不足的问题,提出 DSSM-KG,通过双流状态空间建模和跨模态知识注入增强视频理解及语言描述生成;其主要研究对象是视频与文本,而非 EEG 或 BCI。 机制方面,作者将异构 Mamba 与 Transformer 以并行和串行方式结合,构建空间增强双流状态空间模块 S-DSSM 与时间增强双流状态空间模块 T-DSSM,以加强联合时空建模。另构建融合常识与数据集特定信息的知识图谱,并将其自适应注入解码器。摘要未交代两种组合方式与具体模块的对应关系,也未提供知识图谱来源、注入控制机制、损失函数或训练细节,这些内容尚未验证。 作者报告,DSSM-KG 的结构设计与知识注入机制在 MSVD、MSR-VTT 等视频描述生成数据集上有效,并取得有竞争力的表现。摘要未提供具体指标、数值、数据划分及对照基线,因此无法量化收益,或判断双流结构与知识注入各自的贡献;实验协议、消融及统计信息尚未验证。 平台推测(待验证):双流时空建模可作为 EEG 通道关系与时间动态联合建模的候选思路,但视频中的空间结构不能直接等同于 EEG 电极布局。可考虑复用 Mamba 与 Transformer 的组合思想,通道表示及输入编码需针对 EEG 改造;知识注入还依赖可明确构建的任务知识,不能默认视频常识图谱适用。低信噪比、跨被试差异、通道配置变化及小数据训练均可能使收益消失。一个可证伪的小实验是在固定 Cross-subject 划分与相近训练预算下,比较 Mamba、Transformer 和双流组合的同一 EEG 分类任务表现,先检验双流建模能否带来稳定增益,再考虑知识注入。上述均为迁移假设,已有 EEG 相关工作尚未检索确认。

来源:OpenReview · State space models · openreview.net