结合状态空间模型与 Kolmogorov-Arnold Networks 增强面向方面的情感分析中的长程依赖
Enhancing Long-range Dependency with State Space Model and Kolmogorov-Arnold Networks for Aspect-based Sentiment Analysis
基于摘要分析。本文研究 Aspect-based Sentiment Analysis(ABSA)中方面词与意见词之间的长程依赖建模,提出 MambaForGCN,将句法图建模、Mamba-Transformer 序列编码与 Kolmogorov-Arnold Networks(KANs)门控融合结合起来。作者报告,该方法在三个基准数据集上优于其比较的 SOTA 基线,但摘要未给出数据集名称、指标、分数及划分协议。 核心机制包括两个编码模块:syntax-based Graph Convolutional Network(SynGCN)利用依存关系编码句法结构;MambaFormer 则结合 Multihead Attention(MHA)与 Selective State Space model(Mamba),用于建模方面词和意见词之间的短程与长程依赖。KANs 门控融合整合两类表征,旨在捕捉非线性、复杂依赖。原问题依赖文本、方面级情感监督及句法依存结构,并非神经信号解码任务。 摘要将注意力的二次复杂度及无关上下文干扰列为动机,但 MambaFormer 仍含 MHA,因此不能据此认定整体模型具有线性复杂度。损失函数、训练规模、计算开销、融合细节,以及各模块独立贡献尚未验证;实验协议、消融及统计信息亦尚未验证。 平台推测(待验证):可迁移的假设是,以图编码约束 EEG 通道关系,再结合局部与长程时间表征,可能有助于处理空间结构与时间依赖;但 EEG 不具备文本句法依存树,需要重新定义图结构、输入表征及任务监督,不能直接复用句法处理流程。低信噪比、跨被试差异、通道变化和小数据可能削弱图结构可靠性,并使复杂融合模块过拟合。一个可检验的小实验是在固定跨被试划分的 EEG 分类任务上,控制训练预算,比较 Mamba 单模块、加入通道图编码,以及加入 KANs 门控融合的版本,核对增益与开销。该实验仅用于检验迁移假设,已有 EEG 相关工作尚未检索确认。
来源:OpenReview · State space models · openreview.net