Thought2Text：使用大型语言模型（LLMs）从 EEG 信号生成文本

Thought2Text 研究如何将图像刺激条件下的 EEG 信号转换为可理解的文本，核心贡献是通过三阶段训练，将 EEG 编码器与指令微调的 LLM 衔接。基于摘要分析，未取得论文全文；该研究的主要对象是视觉刺激相关 EEG 的文本描述生成，不能将其直接等同于任意思想或自主内言语的解码。 方法首先训练 EEG 编码器以提取视觉特征；随后使用图像与文本数据微调 LLM，使其具备多模态描述生成能力；最后使用 EEG embeddings 进一步微调，在推理时直接根据 EEG 生成文本。这一路径利用图像—文本关联作为 EEG 表征通向语言生成的中间桥梁。编码器结构、表征对齐方式、训练损失、微调参数范围，以及推理时各模块的具体连接方式尚未验证。 作者报告，在包含六名被试、图像刺激及文本描述的公开 EEG 数据集上，使用 LLaMA-v3、Mistral-v0.3 和 Qwen2.5 开展实验，并通过传统语言生成指标以及流畅性、充分性评价支持方法的有效性。摘要未给出数据集名称、具体指标与分数、对照基线或数据划分，因此尚不能判断结果对应被试内还是跨被试协议，也不能量化相对既有方法的改进。 复现时需核对图像、文本与 EEG 的配对方式，训练与测试在刺激图像和被试层面的划分，以及各训练阶段的数据使用范围；还需查看生成文本对 EEG 信息的依赖程度，而非仅由 LLM 的语言先验产生合理描述。实验协议、消融及统计信息尚未验证。作者提出便携、低成本思想到文本技术的应用潜力，但摘要未提供实际设备部署或自由思想解码的验证证据。