神经信号驱动的图像编辑

基于摘要分析。研究针对图像编辑依赖手动提示、对运动控制或语言能力受限者不够便利的问题，提出 LoongX：利用 EEG、fNIRS、PPG 与头部运动信号驱动扩散模型，实现免手动操作的图像编辑。主要贡献是将多模态生理信号的特征编码与融合连接到图像编辑语义和生成过程。 机制上，cross-scale state space（CS3）模块提取各模态的特征，dynamic gated fusion（DGF）模块将其聚合到统一潜在空间，再通过微调 diffusion transformer（DiT）实现与编辑语义的对齐。编码器还采用对比学习预训练，借助自然语言嵌入对齐认知状态与语义意图。摘要未提供具体损失形式、信号时间窗、预处理流程及生成条件的注入方式，这些实现细节尚未验证。 数据包含 23,928 个图像编辑对，并配有同步采集的 EEG、fNIRS、PPG 和头部运动信号。作者报告，在摘要所述与文本驱动方法的比较中，LoongX 的 CLIP-I 为 0.6605，对照为 0.6558；DINO 为 0.4812，对照为 0.4636。作者据此认为其性能与文本驱动方法相当。结合神经信号与语音时，作者报告 CLIP-T 为 0.2588，文本驱动对照为 0.2549。被试人数、数据划分、被试内或跨被试协议、具体对照方法及统计不确定性未在摘要中交代，因此这些数值仅能在所述比较条件下理解，不能外推为通用 BCI 性能提升。 复现时需核对自然语言监督如何构建、多模态同步与缺失模态处理，以及 EEG、fNIRS、PPG、头部运动和语音各自的贡献。实验协议、消融及统计信息尚未验证；面向运动或语言能力受限人群的有效性也需进一步核对。作者表示将发布数据与代码，当前材料不能确认其已公开。