High-Modality Multimodal Transformer：量化模态与交互异质性以实现多模态数量较多场景下的表征学习

基于摘要分析。本文研究包含大量不同模态时的高效表征学习，核心问题是如何量化模态及其交互的差异，以避免为每个新增模态或任务单独增加模型。作者提出两类信息论指标，并据此构建统一模型 HighMMT，用于跨模态参数共享与融合。 模态异质性通过衡量从一个模态向另一个模态可迁移的信息，刻画两者的相似程度；交互异质性则衡量一对模态的交互信息能够在多大程度上迁移到另一对模态。其机制重点不仅是比较单个模态，还包括比较模态之间的交互，以优先融合提供独特信息或独特交互的模态。指标的具体定义、估计方法，以及如何落实为参数共享和融合策略，尚需正文核对。 作者报告，HighMMT 覆盖文本、图像、音频、视频、传感器、本体感觉、语音、时间序列、集合与表格，共 10 类模态，以及来自 5 个研究领域的 15 项任务。在摘要所述多模态多任务评估范围内，作者报告其性能—效率权衡优于先前方法，性能随新增模态持续改善，并能通过微调迁移到全新模态和任务。摘要未提供具体数据集、划分、基线、指标数值或效率计量方式，因此这些结论的适用边界、实验协议、消融及统计信息尚未验证。作者表示发布代码与基准，具体复现条件尚需核对。 平台推测（待验证）：其异质性量化机制可能用于 EEG 与其他同步传感模态的联合学习，帮助判断哪些表征或交互适合共享；这是假设，不是本文已验证的 BCI 结果。可复用的是异质性评估与共享决策思路，需改造 EEG 输入表征、时序对齐和跨被试校准。该迁移依赖可比较的模态数据及足够稳定的迁移信息估计，而原研究所需的监督形式与样本规模尚未明确；低信噪比、通道差异和小样本可能使相似性估计失真。一个可检验的小实验是在固定跨被试划分、相同输入和参数预算下，对比异质性指导共享与统一共享，并检验异质性估计是否能预测迁移收益。相关 EEG 工作尚未检索确认。