Token-Mixer：将图像与文本绑定到同一嵌入空间以生成医学影像报告

基于摘要分析。本文研究医学影像诊断报告的自动生成，提出 Token-Mixer，通过联合图像到文本生成与文本到文本生成，将图像和报告绑定到同一嵌入空间，旨在改善跨模态对齐，并缓解自回归生成中与 teacher forcing 及词级损失相关的曝光偏差。 框架包含图像编码器、文本编码器和文本解码器。训练时，配对影像与报告分别编码为 image tokens 和 text tokens，再随机混合得到 mixed tokens；文本解码器分别以图像、文本或混合 tokens 作为提示进行生成与优化。其核心思路是借助作者认为受曝光偏差影响较小的文本到文本生成，辅助图像到文本生成的对齐学习。摘要还提到定制文本解码器与交替训练策略，但具体结构、损失形式、混合比例及训练调度尚未验证。 作者报告，在三个公开数据集上的实验显示，Token-Mixer 改善了图像—文本对齐，并达到作者所称的最先进性能。摘要未给出数据集名称、划分、指标、数值或对照方法，因而无法核对收益大小及比较条件；实验协议、消融及统计信息尚未验证。材料提供了代码仓库地址，但代码内容、运行依赖和复现条件尚未核验。 平台推测（待验证）：若存在配对的 EEG 与文本描述，可假设将 EEG 编码为 tokens 后，借鉴其信号到文本、文本到文本及混合提示训练机制，探索信号—语言对齐；这并非本文已验证的贡献。可复用的是 token 混合与联合生成思路，需改造的是信号编码器、时序表示及文本监督。低信噪比、跨被试与通道差异、小数据，以及解码器依赖文本提示而忽视信号，均可能使迁移失败。一个可证伪的小实验是在相同被试划分和解码器条件下，比较纯 EEG 到文本训练与混合 token 训练，并在推理仅输入 EEG 时检验收益及打乱 EEG 输入后的性能变化。已有 EEG 相关工作尚未检索确认。