跳到正文

算法、任务与模态

多模态 最新动态

多模态 研究索引；按可核对的标签归档，不以热度评价质量。

451 条精选近 30 天 139 条共收录 710 条

更新

精选归档 · 第 23 页

1月1日周五第 441–451 条
  1. OpenReview · EEG74

    利用 EEG 与额部 EOG 估计警觉度的多模态方法

    基于摘要分析。本文研究利用 EEG 与 EOG 估计用户警觉度，以支持感知用户心理状态的人机交互；核心贡献是结合额部 EOG 的眼动特征与 EEG，并在模型训练中引入警觉度的时间依赖，同时探索更便于佩戴的电极布置。 方法上，作者采用额部 EOG 电极布置，提取多种眼动特征，称其包含传统 EOG 的主要信息；同时考察不同脑区 EEG 对警觉度估计的作用，利用 EEG 与额部 EOG 的互补性进行多模态融合。针对警觉度随时间变化的特点，研究引入 continuous conditional neural field 与 continuous conditional random field 模型，以捕捉动态时间依赖。摘要未提供具体特征定义、融合位置、模型结构、损失形式及时间窗口设置，这些实现细节尚未验证。 作者报告，在其警觉度估计实验中，多模态融合较单模态表现更好，基于时间依赖的模型也能改善估计性能；但摘要未列出指标、数值或具体对照设置。作者还报告，相比清醒状态，困倦状态下 theta 与 alpha 频段活动增加，gamma 频段活动降低。这是该实验中的观察，不能据此推定其跨被试或跨会话稳定性。 在采集配置方面，作者报告额部布置可用四个共用电极同时采集 EEG 与 EOG，并取得与颞部及后部位点相当的性能；具体通道、参考电极及比较协议尚未验证。被试数量、警觉度标签获取方式、数据划分、被试内或跨被试评估、消融及统计信息均需查阅全文确认。复现时应重点核对额部两类信号的提取流程、时序模型的训练与推理条件，以及四电极配置与其他位点配置的可比性。摘要支持其作为警觉度监测研究的价值，但尚不足以确认真实场景的佩戴可靠性或在线性能。

    阅读价值：值得阅读的具体原因是将额部 EEG/EOG 共用电极采集、模态互补与警觉度时序建模结合，为低电极数警觉度估计提供了可核对的研究路径，但性能与泛化能力仍需全文验证。

3月27日周五
  1. OpenReview · EEG71

    利用任务诱发的瞳孔直径变化提升基于 EEG 的运动想象 BCI 性能

    基于摘要分析。该研究针对运动想象 BCI 中“运动意图／静息”开关识别准确性不足的问题，提出在 EEG 特征之外加入任务诱发的瞳孔直径变化，以改善二分类性能。研究面向重度运动障碍或闭锁综合征人群的交互需求，但摘要未说明参与者是否属于这些临床人群。 机制与方法：作者使用 common spatial patterns（CSP，共空间模式）提取用于区分运动想象与静息控制条件的 EEG 特征，并将瞳孔直径作为额外分类特征。其依据是作者在实验室观察到运动想象时瞳孔直径相对静息增大；摘要明确说明这一先前观察当时尚未发表。瞳孔直径可通过视频眼动记录获取，作者指出多数眼动追踪系统可提供不随头部位置变化的瞳孔直径读数，但本研究的设备与校正细节尚未验证。 实验与结果：作者报告在 30 名参与者的 EEG 运动想象 BCI 用户研究中，加入瞳孔直径特征后，运动想象与静息的分类表现优于仅使用 EEG 衍生特征的传统方法。摘要未提供具体 Accuracy、其他指标、增益幅度、分类器类型，或被试内／跨被试划分，因此无法量化提升或判断其泛化范围。实验协议、消融及统计信息尚未验证。 解释与复现边界：这是 EEG 与瞳孔信号的多模态特征融合，而非单独改进 EEG 解码算法。作者提出，多模态生理参数可能提高 BCI 准确性，并降低对长时间训练和高电极信噪比的依赖；摘要所述分类改善尚不能直接验证这些更广泛主张。复现时需核对两类信号的同步、特征时间窗、训练与测试划分，以及光照、注视行为和任务努力程度对瞳孔变化的影响，并确认辅助信号在真实开关使用场景中的稳定性。

    阅读价值：值得阅读的具体原因是其直接检验了将任务诱发瞳孔直径变化作为 EEG 运动想象开关的辅助特征，但增益大小、评估划分及抗混杂能力尚需全文核对。

1月1日周四
  1. OpenReview · State space models76

    多模态社交数据的潜在空间模型

    基于摘要分析。本文研究社交网络中的关系结构与用户属性、行为如何联合建模，提出 Constrained Latent Space Model（CLSM），以受约束的潜在空间同时解释多种数据模态，从而利用行为信息预测社交关系，或利用网络信息预测行为。主要研究对象是多模态社交数据，而非神经信号或 BCI。 机制上，CLSM 结合 Mixed Membership Stochastic Blockmodels（MMSB）与 Latent Dirichlet Allocation（LDA），通过约束要求潜在空间同时描述不同模态。其方法价值在于将关系结构与行为信号纳入联合建模，而不只是分别分析两类数据。作者推导了基于 Variational Expectation Maximization 的推断算法，并称计算成本随网络规模线性增长；“网络规模”的具体定义、复杂度推导前提及实际运行成本尚未验证。 作者在 Gowalla、Instagram、Orkut、Amazon、Ciao 和 Cora 上评估两类任务：依据用户属性和行为预测社交关系，以及利用网络信息预测行为。作者报告，在这些多模态社交数据实验中，预测准确性相对当时的先进方法显著提升。摘要未提供具体指标、分数、数据划分、对照方法或显著性检验，因此不能量化提升幅度，也不能将不同数据集的结果直接比较。实验协议、消融及统计信息尚未验证，代码与复现配置亦未确认。 平台推测（待验证）：可迁移的机制是关系结构与观测特征共享潜在表示，而非摘要中的社交预测结果本身。若用于 EEG，需先明确哪些实体作为节点、边如何定义，以及连续时序特征如何适配行为模态的表示与概率假设；联合潜在空间与变分推断思路可能复用，观测模型和结构约束则需改造。低信噪比、跨被试差异、通道布局变化及小数据可能使共享约束放大错误结构。一个可检验的小实验是在固定被试内划分下，以通道为节点、预先定义邻接结构，对离散化 EEG 特征进行遮蔽预测，比较联合建模与仅特征建模，并用随机化邻接检验结构贡献。该实验仅检验机制适配性，不代表已证实的 BCI 收益；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是 CLSM 如何通过约束共享潜在空间联合建模网络关系与行为数据，以及其变分推断的可扩展性；摘要中的预测提升尚需结合全文协议核对，不能据此认定对 EEG/BCI 有效。

12月31日周三
  1. OpenReview · EEG78

    电生理信号与血流动力学信号的多模态整合

    基于摘要分析。该研究关注同步记录的多模态神经数据，核心问题是如何将 EEG 原始时域信号的非线性函数——频带功率动态——与 NIRS 或 fMRI 测得的血流动力学响应建立联系。作者提出 multimodal source power correlation analysis（mSPoC），用于从多模态测量中恢复共同源。 技术重点在于关联 EEG 的功率变化与另一模态，而非仅讨论原始时域信号之间的关联。摘要说明了算法名称与目标，但未提供空间滤波、目标函数、优化步骤、频带选择或血流动力学时间对齐方式，因此尚不能据此重建算法实现。NIRS 与 fMRI 在摘要中是血流动力学测量的示例，实际验证采用哪一种模态尚未明确。 作者报告，在来自真实 BCI 实验的多模态数据上验证了 mSPoC，并将其恢复共同源的能力与 canonical correlation analysis（CCA）进行对照。摘要未给出定量指标，不能据此判断性能提升幅度，也不能将共同源恢复结果等同于 BCI 分类性能或 ITR 的改善。 复现时需核对实际模态、任务、被试数量、同步与预处理流程、功率估计及时间对齐方式，并确认 CCA 对照的输入表示与评估协议。实验协议、消融及统计信息尚未验证；代码与数据可用性亦尚未验证。

    阅读价值：值得阅读的具体原因是 mSPoC 将 EEG 频带功率动态与血流动力学信号的共同源恢复作为多模态整合目标，并在真实 BCI 数据上与 CCA 对照；具体性能及复现条件尚未验证。

12月31日周二
  1. OpenReview · EEG75

    MR 扫描仪内用于重建全头皮 EEG 的 BCG 伪迹去除

    基于摘要分析。本研究针对同步 EEG/fMRI 采集中心冲击图（ballistocardiogram，BCG）伪迹干扰 EEG 解释的问题，提出 Direct Recording Temporal Spatial Encoding（DRTSE），利用高密度 EEG 通道之间的信息估计全头皮 BCG 贡献，再重建 EEG，重点面向难以通过平均操作去除伪迹的连续、非事件相关研究。 机制上，作者设计专门实验，支持近似最优的通道子集选择：从 256 个通道中选出 20 个，并提出可由该子集估计实际记录中所有通道的 BCG 伪迹。方法将学习与推断整合，初步评估涉及直接相减及基于优化的重建方案。摘要未说明所选通道的具体信号构成、学习目标、优化形式，以及伪迹估计如何避免同时消除真实 EEG，这些内容需结合全文核对。 结果方面，作者报告，在具有挑战性的非事件相关 EEG 研究中，结合优化方案的 DRTSE 相较 Optimal Basis Set（OBS）使归一化 RMSE 降低约 13 倍。该数值属于摘要所述初步评估，不能解释为准确率提升或下游任务性能改善；其归一化定义、参考 EEG 的获得方式、被试数、训练与测试划分、跨被试或跨会话适用性，以及实验协议、消融及统计信息尚未验证。 复现重点是专门实验与实际记录之间的对应关系、20 通道子集的选择和部署条件，以及 OBS 对照的参数与误差计算协议。该工作直接研究 EEG/fMRI 采集中的伪迹处理，但摘要未提供 BCI 解码结果，因此不能将重建误差改善等同于 BCI 性能提升。

    阅读价值：值得核对其通过少量通道估计全头皮 BCG 伪迹的学习与推断机制，尤其是作者报告的相对 OBS 重建误差改善及其评估协议，但摘要中的初步结果尚不足以确认真实同步 EEG/fMRI 场景下的泛化能力。

  2. OpenReview · EEG75

    多变量数据流与频带功率信号的整合

    基于摘要分析。该研究关注同步记录的多模态神经数据，核心问题是如何将原始 EEG 时域信号的非线性函数，例如 EEG 频带功率，与 NIRS 或 fMRI 测得的血流动力学响应联系起来。作者提出 multimodal source power correlation analysis（mSPoC，多模态源功率相关分析），用于处理这一跨模态关联问题。 技术上，研究的分析对象并非原始 EEG 波形与另一模态的直接关系，而是 EEG 功率特征与多变量数据流之间的关系。这一区分对于理解电生理活动与血流动力学信号的联系具有明确意义。不过，摘要未给出 mSPoC 的具体优化目标、源提取方式、频带选择、时间对齐或延迟处理方法，尚不能据此还原算法与实现。 作者报告在模拟数据和真实多模态数据上展示了 mSPoC 框架的有效性及较高性能。摘要未提供真实数据的具体模态组合、数据集、被试数、评估划分、对照方法或指标数值，因此无法判断性能优势的大小及其适用协议；实验协议、消融及统计信息尚未验证。 该工作直接涉及 EEG 多模态分析，但摘要中的证据不等同于 BCI 解码性能或在线应用有效性。复现前需核对完整算法、预处理流程、跨模态同步与时间尺度处理、数据可获得性，以及模拟和真实数据实验各自的评价标准。

    阅读价值：值得阅读的具体原因是 mSPoC 将 EEG 源功率与另一模态的关联作为多模态分析对象；其实际性能与适用条件仍需结合全文实验核对。

  3. OpenReview · EEG74

    利用同步 MEG 与 EEG 波束形成器定位相干源

    基于摘要分析。该研究针对相干脑源可能使常规波束形成器失效的问题，构建结合源抑制策略的同步 MEG/EEG 线性约束最小方差（LCMV）波束形成器，并通过模拟数据及实测听觉刺激数据考察其定位能力。作者报告，该方法对相干源定位具有明显益处，但摘要未给出定量改善幅度。 机制与研究对象：MEG 与 EEG 对脑源的敏感性具有互补性，联合分析旨在改善径向和切向源分量的定位。摘要指出，已有同步 MEG/EEG 波束形成方法能改善单模态分析中的漏检或较高定位偏差，但源活动相干时，常规波束形成器仍可能无法正常工作。本研究进一步在同步 MEG/EEG LCMV 框架中引入源抑制，比较不同抑制策略；具体约束构造、抑制源的选择及联合数据处理方式尚未验证。 证据与对照：作者使用多组模拟数据和实测听觉刺激数据，重点评估相干源定位，并与常规同步分析及单模态方法比较。摘要未提供被试数、模拟源配置、相干程度、噪声条件、定位误差指标或统计结果，因此不能据此判断改善幅度、策略间优劣或稳健性。实验协议、消融及统计信息尚未验证。 适用范围与复现条件：该工作的直接贡献是 MEG/EEG 联合源定位，而非 BCI 解码性能提升。复现需核对两种模态的配准与尺度处理、前向模型、协方差估计、LCMV 约束及源抑制策略，并确认实测数据中定位结果的验证依据。摘要不足以支持其在单独 EEG、跨被试或在线 BCI 场景中的有效性结论。

    阅读价值：值得阅读的具体原因是该研究将同步 MEG/EEG 融合与源抑制策略结合，针对相干脑源下常规波束形成器的定位困难开展模拟及听觉刺激数据验证，但改善幅度与适用条件尚需核对全文。

12月31日周一
  1. OpenReview · EEG72

    利用 NIRS 预测基于 EEG 的 BCI 性能

    基于摘要分析。该研究关注感觉运动型 BCI 中 EEG 控制性能的波动，分析了 14 名被试的 EEG 与近红外光谱（NIRS）多模态记录，并将先行 NIRS 活动用于预测 EEG-based BCI 性能，进而构建更稳健的 EEG 分类器。 核心思路不是单纯将两种模态合并用于分类，而是利用 NIRS 对后续 EEG 控制性能的预测，为 EEG 分类器的构建提供信息。摘要未说明性能预测的目标变量、NIRS 与 EEG 的时间间隔、特征提取方式、预测模型，以及预测结果如何具体影响分类器训练或推理；这些机制细节尚未验证。摘要也未明确感觉运动任务是否为运动想象，不能据此将其限定为 MI 研究。 作者报告，在这 14 名被试的多模态记录分析中，先行 NIRS 活动能够预测 EEG-based BCI 控制性能的波动；利用这些预测构建的分类器显著改善了分类表现，同时减少性能波动、提高总体稳定性。摘要未提供具体指标、改善幅度、对照分类器或统计检验信息，也未说明采用被试内、跨被试还是跨会话评估，因此无法判断效果的适用范围或与其他研究直接比较。 复现时需核对多模态同步与时间窗口、预测信息在实际使用时是否已可获得、分类器更新流程，以及性能预测和分类评估的数据划分。全文、实验协议、消融及统计信息尚未验证，代码和数据可用性亦未由所给材料确认。

    阅读价值：值得核对其如何利用先行 NIRS 活动预测 EEG 分类性能波动并据此构建更稳健的分类器，但预测时序、评估划分及改善幅度尚未验证。

1月1日周六
  1. OpenReview · EEG72

    利用同步 fMRI 与 Relevance Vector Machine 回归预测 EEG 单试次响应

    基于摘要分析。研究关注同步 EEG-fMRI 中能否利用一种模态的信息预测另一种模态的信号，采用多变量 Relevance Vector Machine（RVM）回归学习 fMRI 激活模式与 EEG 响应之间的关系，探索将空间分布的 fMRI 活动与特定 EEG 成分关联的方法。 研究任务包含听觉提示、视觉心理想象和视觉控制目标；这里的视觉心理想象不应等同于运动想象（MI）。方法以 fMRI 激活模式作为预测信息，以同步采集的 EEG 响应作为预测对象。摘要涉及诱发响应及诱导性振荡响应，但未给出特征构造、具体预测时间窗、RVM 配置或训练与测试划分。 作者报告，多变量回归能够从 fMRI 时间序列预测上述 EEG 响应，但预测结果在很大程度上受到血流动力学响应函数整体滤波效应的影响。对听觉诱发响应的进一步分析显示，单试次调制存在较小但具有统计显著性的贡献，可用于关联空间分布的 fMRI 激活模式与同步 EEG 的特定成分。摘要未提供效应量、预测指标或显著性检验细节，因此不能据此量化预测性能，也不能将其解释为已实现任意 EEG 波形重建。 这项工作的直接贡献是多模态脑信号耦合分析，而非已验证的 BCI 解码系统。复现时需核对同步采集与伪迹处理、血流动力学建模、试次对齐、预测目标定义及训练与测试划分，并确认如何区分整体滤波效应与单试次调制的贡献。被试数量、实验协议、消融及统计信息尚未验证；摘要也不足以判断跨被试或跨会话泛化能力。

    阅读价值：该研究值得阅读的具体原因是用 RVM 回归检验同步 fMRI 空间激活模式对 EEG 单试次响应的预测能力，并区分血流动力学滤波与单试次调制对预测的贡献，但其 BCI 应用价值尚未验证。

1月1日周一
  1. OpenReview · EEG71

    局灶性癫痫发作间期 fMRI 的独立成分分析：与基于广义线性模型的 EEG 相关 fMRI 分析比较

    基于摘要分析。本研究针对局灶性癫痫同步 EEG–fMRI 分析依赖头皮 EEG 可见发作间期癫痫样放电（IED）的问题，比较数据驱动的空间独立成分分析（ICA）与 EEG 驱动的广义线性模型（GLM），评估 ICA 是否能够提取与 IED 相关的 BOLD 活动。这是癫痫相关脑功能成像研究，并非 BCI 解码方法研究。 传统 GLM 使用头皮 EEG 上识别的 IED 构建分析模型；当 EEG 未显现 IED 时，该策略难以发挥作用。作者对八名局灶性癫痫患者的 fMRI 数据应用空间 ICA，将提取的独立成分自动分类为 BOLD 相关成分、运动伪影、EPI 磁敏感伪影、大血管成分及高空间或时间频率噪声，再依据时空标准评估 ICA 与 EEG 驱动 GLM 结果的一致性。摘要未提供分类器具体实现及一致性判据。 作者报告，在上述八名患者的分析中，自动分类使候选独立成分数量减少 78%，平均保留 16 个 BOLD 相关成分；每名患者均有一个独立成分满足与 IED 驱动 GLM 结果相对应的时空标准。这支持 ICA 能够提取与已知 IED 相关 BOLD 模式一致的成分，但不等同于对 EEG 不可见癫痫活动的独立验证。 作者认为，其余成分与自发脑活动的 BOLD 模式相符，并可能包含头皮 EEG 未显现的癫痫活动；这一解释仍需独立证据确认。摘要未给出额外成分的临床参照验证、定位准确性或假阳性指标。实验协议、消融及统计信息尚未验证，复现还需核对 fMRI 预处理、ICA 配置、自动分类规则及 GLM 建模细节。当前材料不支持将该结果直接推断为 EEG/BCI 性能提升。

    阅读价值：值得阅读其空间 ICA 成分筛选与 EEG 驱动 GLM 的时空一致性验证思路，但摘要不足以确认额外成分能否识别头皮 EEG 未显现的癫痫活动。

12月31日周六
  1. OpenReview · EEG79

    评估 EEG 逆问题中基于 fMRI 的先验的相关性：贝叶斯模型比较方法

    基于摘要分析。研究针对 EEG/MEG 皮层源重建解不唯一的问题，提出通过贝叶斯模型比较评估 fMRI 衍生空间先验是否适合观测数据。核心贡献是将“是否应引入跨模态先验”转化为可量化的比较问题，而不是直接假定生物电活动与代谢活动在空间上相匹配。 方法上，作者比较采用 fMRI 信息先验与采用非信息先验时对 EEG/MEG 数据的适配程度，并使用 Bayes factor 作为纳入或不纳入信息先验的依据。这一机制直接对应多模态源定位中的关键风险：外部成像约束可能减少逆问题的不确定性，但不匹配的约束也可能影响重建。摘要未给出先验分布、似然、超参数处理及 Bayes factor 的具体计算方式，尚不能据此复现推断流程。 验证方面，作者报告进行了广泛仿真，将模拟 EEG 源的扰动版本构造为 fMRI 衍生先验，以考察先验与真实源不一致时的适用性；作者还指出，该推断框架可推广至优化信息先验的引入方式。摘要未提供扰动类型、仿真规模、噪声条件、判定阈值或定量结果，实验协议、消融及统计信息尚未验证，也无法确认其在真实 EEG/MEG 与 fMRI 配对数据上的表现。 该工作的明确研究对象是多模态约束下的 EEG/MEG 逆问题，并非 BCI 解码性能验证。阅读全文时，应重点核对模型证据对先验设定及噪声假设的敏感性、先验不匹配的仿真覆盖范围，以及推广至先验优化时的具体实现。其对后续 BCI 系统的价值仍需单独验证。

    阅读价值：值得阅读的具体原因是，该研究用 Bayes factor 比较 fMRI 空间先验与非信息先验对 EEG/MEG 数据的适配性，为是否引入跨模态约束提供可核对的统计依据，而非默认两类活动一致。