跳到正文
OpenReview · EEG· Yawen Lan; Yuchen Wang; Yuping Zhang; Hong Zhu·· 2025-01-01AI 评分66

用于 EEG 听觉注意检测的低功耗轻量化脉冲 Transformer

Low-power and lightweight spiking transformer for EEG-based auditory attention detection

AI 导读

基于摘要分析。该研究针对 EEG 听觉注意检测模型计算负担较重、难以部署到边缘设备的问题,提出二值化脉冲 Transformer,通过脉冲神经元与训练后权重二值化降低计算和存储成本,同时利用 Transformer 学习任务相关信息。 核心机制包含两个不同层面的压缩:脉冲神经元产生稀疏、二值的脉冲序列,作者据此提出降低计算功耗的设计;训练后量化则将全精度网络权重转为二值权重,以缩小模型体积。脉冲表示二值化与权重二值化并非同一操作,摘要未给出二者如何与 Transformer 运算结合,也未说明训练方法、量化细节、时间步设置及推理实现。 作者报告,在其所称的主流数据集上,模型性能可超过现有最先进模型;相对于对应的原始全精度网络,模型体积可缩小超过 21 倍。不过,摘要未提供数据集名称、被试数量、被试内或跨被试等评估协议、具体性能指标及对照模型,因此无法核对性能优势的幅度或适用范围。体积缩减也不能直接等同于同等比例的功耗或延迟改善。 复现与部署评估需核对数据划分、EEG 预处理、输入窗口、完整模型结构、二值化前后性能变化,以及目标硬件是否能利用稀疏脉冲和二值运算获得实际收益。低功耗结论采用实测还是计算估算、是否计入完整推理开销,均尚未验证;实验协议、消融及统计信息尚未验证。摘要未提供可确认的代码或权重信息。

来源:OpenReview · EEG · openreview.net