跳到正文

算法、任务与模态

多模态 最新动态

多模态 研究索引；按可核对的标签归档，不以热度评价质量。

1,413 条精选近 30 天 194 条共收录 2,050 条

更新

精选归档 · 第 71 页

1月1日周四第 1401–1413 条
  1. OpenReview · Representation learning72

    用于视觉分类的稀疏表示、判别性字典与投影

    基于摘要分析。本学位论文研究视觉分类中标注有限、标签歧义及多模态异质数据的表示与融合问题，将稀疏字典学习扩展至半监督学习、歧义标签学习和 Multiple Instance Learning（MIL），并研究非线性核选择与多模态特征融合。 方法包含四部分：其一，在非线性判别字典学习中联合利用有标签与无标签样本，为无标签样本估计类别概率分布，并与字典、稀疏系数共同更新；该框架还扩展至单个训练样本具有多个候选标签的情形。其二，面向多类别 MIL，以包含多个实例的包为监督单位，假设每个包至少有一个实例属于包的类别，通过 noisy-OR 模型和基于广义均值的优化框架学习特征空间中的字典；当每包仅有一个实例时，该方法退化为判别性字典学习。其三，将 Sparse Representation-based Classification（SRC）与 Multiple Kernel Learning（MKL）结合，依据核对齐准则，在固定核混合系数时更新稀疏编码，再固定编码更新核混合系数，交替迭代至满足停止条件。其四，在线性分类模型下，通过尽量小的测试特征扰动促使不同模态预测同一类别：连续特征采用二次规划，二值特征采用混合整数规划，并以贪心算法近似求解。作者报告该贪心解接近所比较的先进混合整数规划求解器，但摘要未给出具体误差及评估设置。 摘要未提供数据集、划分、分类指标或计算成本，实验协议、消融及统计信息尚未验证。尤其需核对类别概率更新、核选择与融合扰动的约束条件，才能判断各模块的收益和适用范围。 平台推测（待验证）：半监督字典学习可作为 EEG 标注稀缺问题的候选方法，但依赖可利用的稀疏结构及无标签样本分布。可复用字典与类别概率交替更新机制，需改造 EEG 特征表示、归一化和跨被试处理；低信噪比、通道差异及小样本可能使伪标签误差累积。一个可证伪的小实验是在固定被试内划分下，仅从训练部分抽取少量标签，其余训练样本作为无标签数据，对照仅使用有标签数据的字典学习，比较同一测试集上的 Balanced Accuracy。已有 EEG 相关工作尚未检索确认，原视觉领域机制不构成 BCI 有效性证据。

    阅读价值：该学位论文摘要提供了弱监督字典学习、基于 SRC 的核权重学习及测试时多模态一致性融合的明确机制，适合核对其监督假设与优化实现，但其向 EEG 的适用性尚未验证。

12月31日周三
  1. OpenReview · EEG78

    电生理信号与血流动力学信号的多模态整合

    基于摘要分析。该研究关注同步记录的多模态神经数据，核心问题是如何将 EEG 原始时域信号的非线性函数——频带功率动态——与 NIRS 或 fMRI 测得的血流动力学响应建立联系。作者提出 multimodal source power correlation analysis（mSPoC），用于从多模态测量中恢复共同源。 技术重点在于关联 EEG 的功率变化与另一模态，而非仅讨论原始时域信号之间的关联。摘要说明了算法名称与目标，但未提供空间滤波、目标函数、优化步骤、频带选择或血流动力学时间对齐方式，因此尚不能据此重建算法实现。NIRS 与 fMRI 在摘要中是血流动力学测量的示例，实际验证采用哪一种模态尚未明确。 作者报告，在来自真实 BCI 实验的多模态数据上验证了 mSPoC，并将其恢复共同源的能力与 canonical correlation analysis（CCA）进行对照。摘要未给出定量指标，不能据此判断性能提升幅度，也不能将共同源恢复结果等同于 BCI 分类性能或 ITR 的改善。 复现时需核对实际模态、任务、被试数量、同步与预处理流程、功率估计及时间对齐方式，并确认 CCA 对照的输入表示与评估协议。实验协议、消融及统计信息尚未验证；代码与数据可用性亦尚未验证。

    阅读价值：值得阅读的具体原因是 mSPoC 将 EEG 频带功率动态与血流动力学信号的共同源恢复作为多模态整合目标，并在真实 BCI 数据上与 CCA 对照；具体性能及复现条件尚未验证。

1月1日周三
  1. OpenReview · EEG76

    声学噪声改善视觉感知并调节枕叶振荡状态

    本研究考察任务无关的连续声学噪声能否像与目标同步的瞬态声音一样促进视觉感知，并通过 EEG 探索相关振荡机制。作者报告，在同一视觉对比度检测范式中，两类声音带来的感知促进在定性与定量上相似。 基于摘要分析。研究以连续背景噪声和目标同步瞬态声音为比较条件。作者报告，连续声学噪声可改善视觉对比度检测，表现为心理测量曲线随声音幅度发生系统性偏移。摘要未提供声音幅度范围、曲线参数、效应量或具体统计结果，因此尚不能判断获益幅度及其适用条件。 EEG 方面，作者报告声学噪声改变枕叶 alpha（8–12 Hz）功率，并降低枕叶与颞叶位点之间的 beta（14–20 Hz）频段耦合；摘要未说明 alpha 功率变化方向或耦合计算方法。作者将这些变化解释为与视觉皮层兴奋性调节有关，并认为连续噪声与瞬态声音可能通过相似的振荡机制促进视觉感知。上述结果支持机制关联，但仅凭摘要不能确立这些振荡变化对行为获益的因果作用。 研究的主要对象是跨感觉视觉促进，而非 BCI 解码算法。被试数量、声音与视觉刺激设置、EEG 预处理、实验协议、消融及统计信息尚未验证，也未提供 BCI 任务表现结果。若用于评估视觉 BCI 的声环境影响，仍需独立验证；相关 EEG/BCI 后续工作尚未检索确认。

    阅读价值：该研究在同一视觉检测范式中比较连续背景噪声与目标同步瞬态声音，并结合 EEG 分析枕叶振荡，为考察声音如何调节视觉感知提供了可核对的行为与神经信号线索，但不构成 BCI 性能改善的证据。

  2. OpenReview · EEG75

    自然视觉过程中人类枕颞皮层的功能选择性：来自联合颅内 EEG 与眼动追踪的证据

    基于摘要分析（目前仅有 Highlights，未取得论文全文）。该研究关注人类观看自然图像时枕颞皮层的功能选择性，将 iEEG 与眼动追踪结合，并定义整合高频活动（HFA）与眼动信息的注视相关响应，以分析单次注视对应的皮层活动。 方法上，作者将 HFA 作为多单位放电活动的代理指标，而非直接测量神经元放电。其核心思路是把皮层活动与自然观看过程中的注视事件联系起来，使视觉响应分析能够落到单次注视尺度。HFA 的频段、提取方法、响应时间窗，以及眼动与 iEEG 的同步和事件划分方式尚未验证。 结果方面，作者报告在自然图像观看条件下，单次注视尺度的枕颞皮层活动具有功能特异性。所给材料未提供具体功能类别、效应量、统计指标或对照条件，因此尚不能判断选择性的量化强度与跨被试一致性。作者还将该工作表述为首次提供适配人类自然视觉的皮层活动度量；这一优先性主张尚未独立核实。 该研究的主要贡献属于自然视觉神经生理测量与分析，不能据此认定已验证 BCI 解码性能。阅读或复现时应重点核对注视相关响应的定义、注视之间的时间重叠与眼动影响如何处理，以及功能选择性的检验方式。被试信息、电极覆盖、图像材料、实验协议、消融及统计信息尚未验证，代码与数据可用性也尚未验证。

    阅读价值：值得阅读的具体原因是将 iEEG 高频活动与眼动注视事件结合，为自然视觉条件下单次注视尺度的枕颞皮层功能选择性分析提供了可核对的方法思路，但响应定义与验证协议尚未验证。

12月31日周二
  1. OpenReview · EEG75

    MR 扫描仪内用于重建全头皮 EEG 的 BCG 伪迹去除

    基于摘要分析。本研究针对同步 EEG/fMRI 采集中心冲击图（ballistocardiogram，BCG）伪迹干扰 EEG 解释的问题，提出 Direct Recording Temporal Spatial Encoding（DRTSE），利用高密度 EEG 通道之间的信息估计全头皮 BCG 贡献，再重建 EEG，重点面向难以通过平均操作去除伪迹的连续、非事件相关研究。 机制上，作者设计专门实验，支持近似最优的通道子集选择：从 256 个通道中选出 20 个，并提出可由该子集估计实际记录中所有通道的 BCG 伪迹。方法将学习与推断整合，初步评估涉及直接相减及基于优化的重建方案。摘要未说明所选通道的具体信号构成、学习目标、优化形式，以及伪迹估计如何避免同时消除真实 EEG，这些内容需结合全文核对。 结果方面，作者报告，在具有挑战性的非事件相关 EEG 研究中，结合优化方案的 DRTSE 相较 Optimal Basis Set（OBS）使归一化 RMSE 降低约 13 倍。该数值属于摘要所述初步评估，不能解释为准确率提升或下游任务性能改善；其归一化定义、参考 EEG 的获得方式、被试数、训练与测试划分、跨被试或跨会话适用性，以及实验协议、消融及统计信息尚未验证。 复现重点是专门实验与实际记录之间的对应关系、20 通道子集的选择和部署条件，以及 OBS 对照的参数与误差计算协议。该工作直接研究 EEG/fMRI 采集中的伪迹处理，但摘要未提供 BCI 解码结果，因此不能将重建误差改善等同于 BCI 性能提升。

    阅读价值：值得核对其通过少量通道估计全头皮 BCG 伪迹的学习与推断机制，尤其是作者报告的相对 OBS 重建误差改善及其评估协议，但摘要中的初步结果尚不足以确认真实同步 EEG/fMRI 场景下的泛化能力。

  2. OpenReview · EEG75

    多变量数据流与频带功率信号的整合

    基于摘要分析。该研究关注同步记录的多模态神经数据，核心问题是如何将原始 EEG 时域信号的非线性函数，例如 EEG 频带功率，与 NIRS 或 fMRI 测得的血流动力学响应联系起来。作者提出 multimodal source power correlation analysis（mSPoC，多模态源功率相关分析），用于处理这一跨模态关联问题。 技术上，研究的分析对象并非原始 EEG 波形与另一模态的直接关系，而是 EEG 功率特征与多变量数据流之间的关系。这一区分对于理解电生理活动与血流动力学信号的联系具有明确意义。不过，摘要未给出 mSPoC 的具体优化目标、源提取方式、频带选择、时间对齐或延迟处理方法，尚不能据此还原算法与实现。 作者报告在模拟数据和真实多模态数据上展示了 mSPoC 框架的有效性及较高性能。摘要未提供真实数据的具体模态组合、数据集、被试数、评估划分、对照方法或指标数值，因此无法判断性能优势的大小及其适用协议；实验协议、消融及统计信息尚未验证。 该工作直接涉及 EEG 多模态分析，但摘要中的证据不等同于 BCI 解码性能或在线应用有效性。复现前需核对完整算法、预处理流程、跨模态同步与时间尺度处理、数据可获得性，以及模拟和真实数据实验各自的评价标准。

    阅读价值：值得阅读的具体原因是 mSPoC 将 EEG 源功率与另一模态的关联作为多模态分析对象；其实际性能与适用条件仍需结合全文实验核对。

  3. OpenReview · EEG74

    利用同步 MEG 与 EEG 波束形成器定位相干源

    基于摘要分析。该研究针对相干脑源可能使常规波束形成器失效的问题，构建结合源抑制策略的同步 MEG/EEG 线性约束最小方差（LCMV）波束形成器，并通过模拟数据及实测听觉刺激数据考察其定位能力。作者报告，该方法对相干源定位具有明显益处，但摘要未给出定量改善幅度。 机制与研究对象：MEG 与 EEG 对脑源的敏感性具有互补性，联合分析旨在改善径向和切向源分量的定位。摘要指出，已有同步 MEG/EEG 波束形成方法能改善单模态分析中的漏检或较高定位偏差，但源活动相干时，常规波束形成器仍可能无法正常工作。本研究进一步在同步 MEG/EEG LCMV 框架中引入源抑制，比较不同抑制策略；具体约束构造、抑制源的选择及联合数据处理方式尚未验证。 证据与对照：作者使用多组模拟数据和实测听觉刺激数据，重点评估相干源定位，并与常规同步分析及单模态方法比较。摘要未提供被试数、模拟源配置、相干程度、噪声条件、定位误差指标或统计结果，因此不能据此判断改善幅度、策略间优劣或稳健性。实验协议、消融及统计信息尚未验证。 适用范围与复现条件：该工作的直接贡献是 MEG/EEG 联合源定位，而非 BCI 解码性能提升。复现需核对两种模态的配准与尺度处理、前向模型、协方差估计、LCMV 约束及源抑制策略，并确认实测数据中定位结果的验证依据。摘要不足以支持其在单独 EEG、跨被试或在线 BCI 场景中的有效性结论。

    阅读价值：值得阅读的具体原因是该研究将同步 MEG/EEG 融合与源抑制策略结合，针对相干脑源下常规波束形成器的定位困难开展模拟及听觉刺激数据验证，但改善幅度与适用条件尚需核对全文。

1月1日周二
  1. OpenReview · State space models75

    使用特征空间切换多元回归实现基于 HMM 的参数语音合成发音控制

    基于摘要分析。本文研究如何利用发音器官运动特征控制 HMM 参数语音合成，提出特征空间切换多元回归 HMM，使发音特征到声学特征的映射不再仅由上下文相关的 HMM 状态决定。主要研究对象是可控语音合成，而非 EEG 解码或 BCI。 机制上，作者采用 multiple regression HMM（MRHMM）建模声学特征分布，将发音特征作为外生解释变量；另用 Gaussian mixture model（GMM）建模发音特征空间，并为各 GMM 分量训练发音到声学的回归矩阵。相较此前按上下文相关 HMM 状态配置线性变换的方法，该设计将回归映射的划分依据转向发音空间。作者还提出任务特定的上下文特征裁剪方法，以使状态上下文特征与合成阶段被人为调整的发音特征相容；具体裁剪规则与训练细节尚未验证。 评估使用声学波形与电磁发音描记法（EMA）记录的发音器官运动同步采集的语音数据库，包含两项任务。作者报告，在元音身份修改任务中，通过改变发音输入重建目标元音的表现优于其此前方法；在新元音生成任务中，即使训练数据不含该元音的声学样本，采用适当发音表示仍可生成听感高度自然的元音。摘要未给出数据库名称、说话人数、划分方式、量化指标或听评协议，实验协议、消融及统计信息尚未验证。 该方法依赖配对的声学与发音运动数据，摘要没有建立其与 EEG/BCI 的具体对应关系，因此不能将语音合成结果视为神经信号解码或 BCI 有效性的证据。

    阅读价值：值得阅读的是以发音特征空间而非 HMM 上下文状态选择回归映射的机制，以及未见元音的可控合成任务；其效果目前仅有摘要中的定性报告。

12月31日周一
  1. OpenReview · EEG72

    利用 NIRS 预测基于 EEG 的 BCI 性能

    基于摘要分析。该研究关注感觉运动型 BCI 中 EEG 控制性能的波动，分析了 14 名被试的 EEG 与近红外光谱（NIRS）多模态记录，并将先行 NIRS 活动用于预测 EEG-based BCI 性能，进而构建更稳健的 EEG 分类器。 核心思路不是单纯将两种模态合并用于分类，而是利用 NIRS 对后续 EEG 控制性能的预测，为 EEG 分类器的构建提供信息。摘要未说明性能预测的目标变量、NIRS 与 EEG 的时间间隔、特征提取方式、预测模型，以及预测结果如何具体影响分类器训练或推理；这些机制细节尚未验证。摘要也未明确感觉运动任务是否为运动想象，不能据此将其限定为 MI 研究。 作者报告，在这 14 名被试的多模态记录分析中，先行 NIRS 活动能够预测 EEG-based BCI 控制性能的波动；利用这些预测构建的分类器显著改善了分类表现，同时减少性能波动、提高总体稳定性。摘要未提供具体指标、改善幅度、对照分类器或统计检验信息，也未说明采用被试内、跨被试还是跨会话评估，因此无法判断效果的适用范围或与其他研究直接比较。 复现时需核对多模态同步与时间窗口、预测信息在实际使用时是否已可获得、分类器更新流程，以及性能预测和分类评估的数据划分。全文、实验协议、消融及统计信息尚未验证，代码和数据可用性亦未由所给材料确认。

    阅读价值：值得核对其如何利用先行 NIRS 活动预测 EEG 分类性能波动并据此构建更稳健的分类器，但预测时序、评估划分及改善幅度尚未验证。

1月1日周六
  1. OpenReview · EEG72

    利用同步 fMRI 与 Relevance Vector Machine 回归预测 EEG 单试次响应

    基于摘要分析。研究关注同步 EEG-fMRI 中能否利用一种模态的信息预测另一种模态的信号，采用多变量 Relevance Vector Machine（RVM）回归学习 fMRI 激活模式与 EEG 响应之间的关系，探索将空间分布的 fMRI 活动与特定 EEG 成分关联的方法。 研究任务包含听觉提示、视觉心理想象和视觉控制目标；这里的视觉心理想象不应等同于运动想象（MI）。方法以 fMRI 激活模式作为预测信息，以同步采集的 EEG 响应作为预测对象。摘要涉及诱发响应及诱导性振荡响应，但未给出特征构造、具体预测时间窗、RVM 配置或训练与测试划分。 作者报告，多变量回归能够从 fMRI 时间序列预测上述 EEG 响应，但预测结果在很大程度上受到血流动力学响应函数整体滤波效应的影响。对听觉诱发响应的进一步分析显示，单试次调制存在较小但具有统计显著性的贡献，可用于关联空间分布的 fMRI 激活模式与同步 EEG 的特定成分。摘要未提供效应量、预测指标或显著性检验细节，因此不能据此量化预测性能，也不能将其解释为已实现任意 EEG 波形重建。 这项工作的直接贡献是多模态脑信号耦合分析，而非已验证的 BCI 解码系统。复现时需核对同步采集与伪迹处理、血流动力学建模、试次对齐、预测目标定义及训练与测试划分，并确认如何区分整体滤波效应与单试次调制的贡献。被试数量、实验协议、消融及统计信息尚未验证；摘要也不足以判断跨被试或跨会话泛化能力。

    阅读价值：该研究值得阅读的具体原因是用 RVM 回归检验同步 fMRI 空间激活模式对 EEG 单试次响应的预测能力，并区分血流动力学滤波与单试次调制对预测的贡献，但其 BCI 应用价值尚未验证。

1月1日周四
  1. OpenReview · EEG78

    注意阅读期间的同步 MEG 与颅内 EEG 记录

    基于摘要分析。研究关注不同空间尺度记录的神经振荡之间的关系，通过在四名癫痫患者中同步记录 MEG 与 iEEG，比较阅读注意任务中的频带响应强度及空间组织，并利用 iEEG 核对部分 MEG gamma 调制的皮层来源。 任务中，红色与绿色词语混合呈现，同一颜色的词语组成连贯故事，患者被要求注意指定颜色。研究分析词语呈现后的 alpha、beta 和 gamma 振荡；MEG 除传感器级分析外，还采用滑动窗口波束形成技术开展源级时频重建。 作者报告，在该四名患者的阅读任务中，iEEG 时频分析显示受注意调制的高 gamma（50–150 Hz）功率增加，以及 alpha/beta（9–25 Hz）功率抑制；MEG 源重建也观察到与 iEEG 效应相伴的明显 alpha/beta 抑制。两名患者的 MEG 传感器级高 gamma 增强较难解释，而源级时频重建揭示了与 iEEG 结果相符的额外激活模式。作者报告，借助 iEEG，确认了若干 MEG gamma 调制源确实来自皮层，而非肌电或眼部伪迹；这一结论不应扩展为所有 MEG gamma 活动均已排除伪迹。 研究的主要价值是跨记录尺度的生理对应与源定位核验，而非提出或验证 BCI 分类算法。样本限于四名癫痫患者，其向其他人群、任务和记录条件的可推广性仍需评估。摘要未提供电极覆盖、同步采集细节、波束形成参数、试次数及统计检验信息，实验协议、效应量与复现条件尚未验证。

    阅读价值：该研究以同步 iEEG 为参照核对 MEG 阅读注意相关振荡及其皮层来源，值得用于理解传感器级与源级分析的可解释性差异，但其证据不等同于 BCI 解码有效性。

1月1日周一
  1. OpenReview · EEG71

    局灶性癫痫发作间期 fMRI 的独立成分分析：与基于广义线性模型的 EEG 相关 fMRI 分析比较

    基于摘要分析。本研究针对局灶性癫痫同步 EEG–fMRI 分析依赖头皮 EEG 可见发作间期癫痫样放电（IED）的问题，比较数据驱动的空间独立成分分析（ICA）与 EEG 驱动的广义线性模型（GLM），评估 ICA 是否能够提取与 IED 相关的 BOLD 活动。这是癫痫相关脑功能成像研究，并非 BCI 解码方法研究。 传统 GLM 使用头皮 EEG 上识别的 IED 构建分析模型；当 EEG 未显现 IED 时，该策略难以发挥作用。作者对八名局灶性癫痫患者的 fMRI 数据应用空间 ICA，将提取的独立成分自动分类为 BOLD 相关成分、运动伪影、EPI 磁敏感伪影、大血管成分及高空间或时间频率噪声，再依据时空标准评估 ICA 与 EEG 驱动 GLM 结果的一致性。摘要未提供分类器具体实现及一致性判据。 作者报告，在上述八名患者的分析中，自动分类使候选独立成分数量减少 78%，平均保留 16 个 BOLD 相关成分；每名患者均有一个独立成分满足与 IED 驱动 GLM 结果相对应的时空标准。这支持 ICA 能够提取与已知 IED 相关 BOLD 模式一致的成分，但不等同于对 EEG 不可见癫痫活动的独立验证。 作者认为，其余成分与自发脑活动的 BOLD 模式相符，并可能包含头皮 EEG 未显现的癫痫活动；这一解释仍需独立证据确认。摘要未给出额外成分的临床参照验证、定位准确性或假阳性指标。实验协议、消融及统计信息尚未验证，复现还需核对 fMRI 预处理、ICA 配置、自动分类规则及 GLM 建模细节。当前材料不支持将该结果直接推断为 EEG/BCI 性能提升。

    阅读价值：值得阅读其空间 ICA 成分筛选与 EEG 驱动 GLM 的时空一致性验证思路，但摘要不足以确认额外成分能否识别头皮 EEG 未显现的癫痫活动。

12月31日周六
  1. OpenReview · EEG79

    评估 EEG 逆问题中基于 fMRI 的先验的相关性：贝叶斯模型比较方法

    基于摘要分析。研究针对 EEG/MEG 皮层源重建解不唯一的问题，提出通过贝叶斯模型比较评估 fMRI 衍生空间先验是否适合观测数据。核心贡献是将“是否应引入跨模态先验”转化为可量化的比较问题，而不是直接假定生物电活动与代谢活动在空间上相匹配。 方法上，作者比较采用 fMRI 信息先验与采用非信息先验时对 EEG/MEG 数据的适配程度，并使用 Bayes factor 作为纳入或不纳入信息先验的依据。这一机制直接对应多模态源定位中的关键风险：外部成像约束可能减少逆问题的不确定性，但不匹配的约束也可能影响重建。摘要未给出先验分布、似然、超参数处理及 Bayes factor 的具体计算方式，尚不能据此复现推断流程。 验证方面，作者报告进行了广泛仿真，将模拟 EEG 源的扰动版本构造为 fMRI 衍生先验，以考察先验与真实源不一致时的适用性；作者还指出，该推断框架可推广至优化信息先验的引入方式。摘要未提供扰动类型、仿真规模、噪声条件、判定阈值或定量结果，实验协议、消融及统计信息尚未验证，也无法确认其在真实 EEG/MEG 与 fMRI 配对数据上的表现。 该工作的明确研究对象是多模态约束下的 EEG/MEG 逆问题，并非 BCI 解码性能验证。阅读全文时，应重点核对模型证据对先验设定及噪声假设的敏感性、先验不匹配的仿真覆盖范围，以及推广至先验优化时的具体实现。其对后续 BCI 系统的价值仍需单独验证。

    阅读价值：值得阅读的具体原因是，该研究用 Bayes factor 比较 fMRI 空间先验与非信息先验对 EEG/MEG 数据的适配性，为是否引入跨模态约束提供可核对的统计依据，而非默认两类活动一致。