DualKanbaFormer:用于多模态方面级情感分析的 Kolmogorov-Arnold Networks 与状态空间模型 Transformer
DualKanbaFormer: Kolmogorov-Arnold Networks and State Space Model Transformer for Multimodal Aspect-based Sentiment Analysis
基于摘要分析。该研究面向多模态方面级情感分析(MABSA),旨在结合文本与图像识别特定方面的情感,处理文本中方面与观点目标之间的长程依赖,以及视觉表示的全局上下文依赖。作者提出 DualKanbaFormer,将 Kolmogorov-Arnold Networks(KANs)、选择性状态空间模型 Mamba 和 Multi-head Attention(MHA)结合,并通过门控融合层整合两种模态。 机制上,作者将 Mamba 用于捕获全局上下文依赖,将 MHA 用于捕获局部上下文依赖,将 KANs 用于非线性模式建模;这些组件分别构成 textual KanbaFormer 与 visual KanbaFormer,再由门控融合层捕获跨模态动态。摘要提供了组件的功能分工,但其具体连接方式、输入编码、损失函数、训练流程及推理开销尚未验证。 作者报告,在两个公开数据集上的实验中,模型优于部分已有 SOTA 研究。摘要未提供数据集名称、划分协议、对照方法、指标或具体数值,因此不能据此判断增益幅度或各组件的独立贡献;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移假设是,全局依赖建模、局部特征建模和非线性变换的分工可能用于 EEG 时序表示,但原任务依赖文本—图像配对及方面级情感监督,并非神经信号解码。可考虑复用组件组合思路,EEG 输入编码、时间与通道组织、监督目标及融合对象则需改造;低信噪比、跨被试分布差异、通道变化和小数据可能使复杂组件的收益消失。一个可证伪的小实验是在固定 EEG 数据划分和训练预算下,对比 Mamba 基线与加入 MHA、KANs 的变体,分别评估被试内和跨被试表现及计算开销。该建议不是已验证的 BCI 结论,相关 EEG 工作尚未检索确认。
来源:OpenReview · State space models · openreview.net