跳到正文
OpenReview · State space models· Yash Garg; K. Selçuk Candan; Maria Luisa Sapino·· 2020-01-01精选AI 评分71

SAN:尺度空间注意力网络

SAN : Scale-Space Attention Networks

AI 导读

基于摘要分析。该研究针对稀疏输入条件下深度神经网络易过拟合、泛化能力不足的问题,提出 SAN,通过识别空间与尺度上变化显著的区域,引导 CNN 聚焦于更具信息量的输入。原标题将 SAN 称为 Scale-Space Attention Networks,摘要则使用 scale-invariant attention networks,二者的具体定义与关系需核对全文。 其核心机制是利用跨空间、跨尺度的变化定位显著区域,而非仅依赖一般的注意力设计。摘要未提供显著性计算方式、尺度构造、注意力与主干网络的结合方式或训练目标,因此目前不能确认其尺度不变性的实现条件,也不能判断性能收益主要来自哪一模块。 作者报告,在图像及时间序列分类、时间序列预测和图像目标检测任务中,SAN 相较所比较的带注意力及不带注意力的方法取得更好的网络性能。摘要列举了 LeNet、VGG、ResNet、LSTM,以及 MNIST、FMNIST、CIFAR10/20/100、GTSRB、ImageNet、Mocap、Aviage、GTSDB,但未给出各任务与数据集、架构的对应关系、数据划分、指标或具体数值;实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设跨时间尺度的变化能反映有效 EEG 信息,SAN 的显著区域选择思路可能用于筛选时频表征中的局部模式。原方法依赖可定义空间与尺度变化的输入结构,迁移时需重新设计 EEG 的时间、频率及通道邻域,不能直接把电极排列视为图像空间;其监督方式和所需数据规模尚未验证。低信噪比下的伪迹也可能形成强烈变化,跨被试差异及小样本训练则可能使注意力偏向不稳定特征。一个可检验的小实验是在固定跨被试划分和同一 EEG 主干下,对比加入该显著性模块与不加入模块的性能及伪迹扰动稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 SAN 如何将跨空间与尺度的变化转化为注意力,以及这一机制能否在稀疏输入下减少过拟合;摘要报告了多任务比较,但具体收益与实验协议尚未验证。

来源:OpenReview · State space models · openreview.net