神经信号驱动的图像编辑

基于摘要分析。研究针对依赖手动提示的图像编辑交互问题，提出 LoongX：利用 EEG、fNIRS、PPG 与头部运动信号表达用户意图，驱动生成模型完成免手操作图像编辑。其主要贡献是多模态神经生理信号编码、动态融合与扩散模型编辑语义对齐，而非单独的 EEG 解码方法。 技术机制方面，cross-scale state space（CS3）模块提取各模态的特征，dynamic gated fusion（DGF）模块将其聚合到统一潜在空间，再通过微调 diffusion transformer（DiT）与编辑语义对齐。作者还使用对比学习预训练编码器，将认知状态与嵌入的自然语言语义意图对齐；具体损失、配对方式及训练与推理时的语言输入条件尚未验证。 数据方面，作者描述了包含 23,928 个图像编辑对的数据集，每对均配有同步采集的 EEG、fNIRS、PPG 和头部运动信号。被试人数、任务诱发方式、采集设备、预处理及训练测试划分未在摘要中说明，尚无法判断结果对应被试内、跨被试还是跨会话泛化。 结果方面，在摘要所述与文本驱动方法的比较中，作者报告 LoongX 的 CLIP-I 为 0.6605，对照为 0.6558；DINO 为 0.4812，对照为 0.4637，并将总体表现描述为可比。结合神经信号与语音时，作者报告 CLIP-T 为 0.2588，对照为 0.2549。摘要未明确基线名称、测试集构成及统计不确定性，这些指标不能替代编辑意图解码准确率或实际用户可用性验证。 复现核对重点包括各模态的独立贡献、语言条件与神经信号贡献的区分、跨被试与跨会话稳健性，以及同步采集和推理延迟。尤其需要确认 PPG 与头部运动信息对结果的影响，不能将多模态系统效果直接归因于 EEG。作者声明代码和数据已在项目网站发布，但资源完整性、使用条件及复现结果尚未验证；实验协议、消融及统计信息尚未验证。面向运动或语言能力受限人群的应用潜力是研究动机，摘要未提供该人群的验证证据。