NoteLLM-2：面向推荐的多模态大规模表征模型

基于摘要分析。本文研究多模态物品到物品（I2I）推荐中的表征学习，提出 NoteLLM-2，旨在通过端到端训练整合已有 LLM 与视觉编码器，并缓解微调后模型忽略图像内容的问题。其主要研究对象是图文推荐表征，而非 EEG 或 BCI。 作者指出，直接将多模态大语言模型（MLLMs）用于表征任务，通常依赖高质量、网络规模的多模态预训练数据，训练复杂且成本较高。NoteLLM-2 的目标是支持针对表征场景定制已有 LLM 与视觉编码器的组合，而不是完全依赖现成的开源 MLLMs。 框架从两个层面增强视觉信息利用：在提示层面，将多模态内容区分为视觉内容与文本内容，通过摘要所称的 multimodal In-Content Learning，引导 LLM 关注两种模态并聚合关键信息；在架构层面，采用晚期融合，将视觉信息直接融入文本信息。摘要未提供具体提示格式、融合算子、损失函数及训练参数范围。作者报告开展了广泛实验并验证方法有效，但未给出数据集、划分、对照基线或指标数值；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移问题是多模态表征中的模态忽略，而非推荐任务本身。若 EEG 与文本或图像具有可靠的配对关系，可假设晚期融合有助于保留较弱模态的信息；但需要将视觉编码器替换为适配 EEG 时序与通道结构的编码器，并重新设计配对监督与融合接口。EEG 低信噪比、跨被试差异和小样本条件可能使模型继续依赖文本捷径。一个可证伪的小实验是在同一配对数据、固定编码器及一致的 Cross-subject 划分下，对比简单融合与晚期融合，并通过打乱 EEG 配对检查性能是否确实依赖 EEG。该假设不构成已验证的 BCI 效果，已有 EEG 相关工作尚未检索确认。