跳到正文
只看多模态与生成#MoE
10月8日周四
  1. arXiv · 泛化与分布偏移75

    从表层到深层：面向多模态情绪理解的认知评价推理

    基于摘要分析。该研究针对多模态情绪理解依赖可观察情感线索、容易形成线索—标签捷径的问题，提出从感知到认知评价的推理范式，并配套构建 CogEmo-40K、CogEmo-MoE 与 CogEmo-Bench，以关注情绪为何产生，而不只是预测情绪类别。 核心机制源于情绪评价理论：通过个体对事件的解释和评价补充表面情感线索。CogEmo-40K 是通过感知到评价流程构建的指令微调数据集，用于引导围绕六个认知评价维度、以证据为基础的推理；摘要未列出这些维度及数据来源。CogEmo-MoE 是紧凑的稀疏 MLLM，通过交错的 MoE 模块进行评价专门化适配，作者称其规模显著小于典型情绪 MLLM，但具体参数量、路由机制、训练目标与对照模型尚未验证。 评估方面，CogEmo-Bench 引入 Appraisal Evidence Quality Score（AEQS），旨在衡量六个互补评价维度上的认知—情感理解，补充仅评估情绪预测结果的常规指标。作者报告其方法在 CogEmo-Bench 上领先，并表现出较强跨域泛化；摘要未提供分数、域划分、基线或统计信息，因此无法判断优势幅度，也不能据此认定模型已消除 Clever Hans effect。数据构建与证据标注方式、AEQS 的计算及可靠性、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：这一机制可能启发 EEG 情绪理解中的证据约束，但依赖多模态事件语境和认知评价监督，不能直接视为 EEG/BCI 方法。可考虑复用评价框架，改造 EEG 编码与证据对齐模块；低信噪比、跨被试差异及小样本评价标注可能使模型仍依赖语境捷径。一个可检验的小实验是在具有事件语境和评价标注的数据上，按同一跨被试划分比较直接情绪预测与评价辅助训练，并检验移除语境后的变化。相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读的是其将情绪标签预测与认知评价证据质量区分，并配套提出数据、模型及评估框架；作者报告的跨域泛化与抗表面线索捷径价值仍需结合全文协议核验。

10月3日周六
  1. arXiv · 泛化与分布偏移68

    面向放射学报告生成的同质语义对齐与分层专家路由

    基于摘要分析。该研究针对 Radiology Report Generation（RRG）中视觉与文本表征的分布偏移，以及异质信息刚性融合可能使弱视觉异常线索被文本先验和生成惯性稀释的问题，提出两阶段 Homogeneous Semantic Alignment and Hierarchical Expert Routing（HSA-HER）框架。 第一阶段在底层潜在空间施加显式同质分布约束，旨在缩小视觉与文本特征的跨模态分布差异，并提取与疾病对齐的视觉特征作为语义锚点。第二阶段由这些锚点引导分层专家路由，针对视觉特征、局部实体与全局检索信息动态激活专家网络，进行多源证据挖掘与语义重构，并自适应分配融合权重。其核心思路是先对齐表征，再按疾病相关语义选择和融合证据，而非对所有异质信息采用统一的刚性耦合。分布约束的具体损失、专家结构、路由训练及推理流程尚未验证。 作者报告，在三个主流基准数据集上的实验取得最先进性能，并能准确描述复杂影像细节与关键诊断信息。摘要未提供数据集名称、划分协议、对照方法或指标数值，因此无法核对优势幅度及其适用条件；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其机制可能启发 EEG 与文本或其他辅助信息的融合，尤其是强先验掩盖低信噪比信号的情形。该假设依赖可对齐的语义监督及有用的多源证据；可借鉴潜在空间对齐与锚点引导路由，但需改造 EEG 编码器、任务语义锚点和证据来源。被试差异、通道变化、小数据下的路由不稳定，以及对齐约束抹去任务相关差异，均是潜在失败风险。可在固定 Cross-subject 划分下，小规模比较 EEG 单模态、固定融合与锚点路由，并通过扰动辅助文本检验模型是否仍依赖 EEG 证据。已有 EEG 相关工作尚未检索确认。