BrainState:用于非侵入式脑到文本的基于图的状态感知泛化
BrainState: Graph-based State-Aware Generalization for Non-invasive Brain-to-Text
基于摘要分析。BrainState 面向 EEG-to-language 中记录间异质分布偏移导致的泛化问题,提出结合状态空间建模与层次图迁移学习的框架,将记录状态纳入跨被试信息迁移,而非仅寻求对生理与记录差异不敏感的任务表征。 机制上,框架先结合时空卷积与 Mamba blocks,捕获局部 EEG 模式和时间依赖,将每个试次映射为任务相关内容表征与记录状态表征。随后按类别、被试和会话组织训练样本,构建层次图记忆,以支持条件特定建模和状态感知检索。推理路径中的注意力加权记忆读出用于聚合相关原型,基于兼容性的检索与门控融合则用于限制不匹配记录条件的贡献。其方法重点是显式利用记录状态调节迁移,而不是仅消除状态差异。 作者报告,该框架在跨被试设置下相对强基线取得 SOTA 表现;摘要未提供数据集、被试规模、具体划分、基线名称、评价指标及数值,因此目前不能判断提升幅度或不同协议下的可比性。标题使用 brain-to-text,摘要同时提及 EEG-to-language 与 EEG speech decoding,具体输出形式及任务定义尚待全文核实。 复现时需核对内容与状态表征的训练目标、图记忆的构建与更新、类别信息的使用阶段,以及测试被试如何完成状态匹配;这些均属于待验证事项,而非已确认的问题。实验协议、消融及统计信息尚未验证。作者提供了匿名代码链接,但代码内容、运行条件及可复现性尚未核验。
值得关注其按类别、被试和会话组织图记忆并以状态匹配约束检索的机制,但其跨被试优势及记录状态表征的实际作用仍需结合完整实验协议与消融核验。
来源:OpenReview · EEG · openreview.net