跳到正文
OpenReview · State space models· Caroline Lee; Jane Han; Ma Feilong; Guo Jiahui; James Haxby; Christopher Baldassano·· 2023-09-22精选AI 评分76

Hyper-HMM:在共同潜在事件空间中对齐人脑活动与语义特征

Hyper-HMM: aligning human brains and semantic features in a common latent event space

AI 导读

基于摘要分析。本文研究自然情境刺激下,不同个体脑活动在空间表征和时间进程上同时存在差异时,如何实现跨个体对齐。Hyper-HMM 将体素活动线性投影至低维潜在空间,并在该空间内将时间序列分割为相互对应的事件,从而联合对齐空间特征与事件进程。 摘要将现有方法概括为空间 hyperalignment 与时间对齐两类:前者假设精确的时间对应,后者假设精确的空间对应。Hyper-HMM 的核心贡献是联合处理这两类差异,使不同个体能够沿共同事件序列呈现各自的认知进程,并进一步与刺激内容等其他特征空间建立对应。具体目标函数、事件转移约束及优化流程尚未验证。 作者使用学生观看课堂讲授视频的 fMRI 数据,报告可将各参与者的脑活动与视频语义内容映射到共同低维空间,且映射能泛化至留出数据。摘要未提供被试数量、语义特征构建方法、留出划分层级、对照基线或定量指标,因此不能据此判断其跨被试、跨刺激或跨会话泛化强度;实验协议、消融及统计信息尚未验证。 平台推测(待验证):对具有共同事件顺序、但个体反应时序不同的 EEG 自然情境任务,空间映射与事件时间对齐的联合建模可能有助于处理跨被试差异。可考虑复用共同潜在空间及事件对应机制,但需将体素映射改造为适合 EEG 通道或时频特征的映射,并核对其时间假设是否适用于 EEG。低信噪比、通道配置差异、小样本及个体事件顺序不一致均可能使对齐失效。一个可检验的小实验是在共享视频刺激的 EEG 数据上,按预先固定的留出片段划分,比较联合对齐与仅空间、仅时间对齐的事件对应表现。该迁移并非本文已验证结果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于联合处理跨个体空间差异与事件进程的时间差异,并以留出数据检验脑活动与语义内容的共同潜在空间;其对 EEG 或 BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net