跳到正文
OpenReview · State space models·· 2 天前精选AI 评分70

结构化状态空间模型的代码理解能力分析

Analysis of Code Understanding of Structured State Space Models

AI 导读

基于摘要分析。本文研究结构化状态空间模型在代码理解相关序列分类任务中学到了怎样的卷积核,以及能否通过频域塑形改善性能。作者分析四种架构设置下的单层 S4D 模型,并比较频率滤波及 wavelet 初始化与标准 HiPPO 初始化的作用;摘要未给出具体数据集与代码理解任务细节。 核心机制是观察卷积核的频率覆盖,并移除高频或低频分量。作者报告,不同架构学到的卷积核侧重不同频段;在所研究的真实世界序列分类任务上,简单频率滤波相较未滤波卷积核,提高了四种架构各自的平均 Accuracy。摘要未提供具体数值、各架构适用的滤波方式,以及滤波发生在训练还是推理阶段,因此不能据此判断增益大小或额外开销。 作者还尝试用 wavelet 初始化捕捉局部句法模式,以替代 HiPPO 并降低对频率滤波的依赖。作者报告,wavelet 初始化的卷积核在训练后仍局限于较窄的低频范围,可选择性塑形的空间有限;相比之下,HiPPO 更宽的频率覆盖支持更有效的卷积核塑形。四种架构的具体差异、数据划分、训练配置、消融及统计信息尚未验证。 平台推测(待验证):若将这一机制用于 EEG,候选路径是复用 S4D 卷积核的频谱诊断与滤波,而非直接迁移代码任务的频段选择。假设是:任务相关节律与噪声在频域存在可利用的差异;但低信噪比、跨被试频谱变化、通道差异及小数据可能使滤波误删有效信号。可在固定 EEG 任务和被试划分下,对照同一 S4D 的未滤波版本与仅用训练及验证数据选择频段的滤波版本,检验独立测试集上的 Accuracy 变化。该实验仅为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

该研究提供了通过频域分析与滤波检验 S4D 卷积核作用的具体路径,值得核对其架构对照及性能改善是否稳定,但对 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net