Modaliff：用于任意模态到任意模态生成的统一 token 扩散模型

基于摘要分析。Modaliff 面向文本、图像与音频之间的任意模态到任意模态生成，试图避免依赖完整对齐的多模态元组，或以共享表示牺牲模态特有结构。其核心贡献是利用双模态配对数据训练统一 token 扩散模型，同时保留各模态原生的潜在序列。 机制上，模型将条件与生成目标组装成统一 token 序列，通过逐 token 属性区分 token 身份，并使用基于角色的位置嵌入，在不同序列布局下保留各模态内部结构。该设计让单一去噪器支持不同生成任务，无需任务专属的架构调整或共享跨模态潜在空间。对多条件生成，摘要提出两条路径：推理时组合单条件预测，或利用联合描述多个输入的 captions 进行轻量微调；具体组合规则、训练目标及微调规模尚未验证。 作者报告，在涵盖文本、图像和音频的实验中，Modaliff 在多数生成任务上的保真度优于所比较的 any-to-any 模型，同时使用显著更少的参数和训练数据。摘要未提供数据集、划分、指标数值、对照模型及资源统计口径，故不能量化优势；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其“保留原生潜在序列、统一条件与目标”的机制，可作为 EEG 与文本或音频条件生成的跨领域研究假设，但原研究并未验证 EEG/BCI。迁移需要新增 EEG 编码与解码模块，并明确时间、通道结构及跨模态配对监督；低信噪比、跨被试差异和小规模配对数据可能使统一建模失效。一个可检验的小实验是在同一 EEG—文本配对数据和固定被试划分下，对比角色位置嵌入与普通序列位置嵌入，检验其是否改善预先选定的单一生成方向。已有 EEG 相关工作尚未检索确认。