面向鲁棒开放集识别的主动多模态表征与 logit 原型学习

基于摘要分析。本文研究多模态开放集识别（OSR）：既要识别已知类别，也要区分未知类别，同时应对单模态信息不足及模态间表征差异。作者提出结合主动多模态表征的 logit prototype learning（LPL），通过 logit 空间融合、不确定性加权和联合优化学习判别边界。 核心机制是将多模态输入转换到 logit 空间；作者认为，这有助于减少尺度不一致的影响并探索模态间关联。随后，方法通过基于熵的不确定性估计确定各模态的融合权重，以在外部扰动下自适应调整融合策略。单模态与多模态表征进行交互式联合优化，最终使用分步识别规则区分已知类与未知类。摘要未展开原型的构造、具体损失、熵的计算方式及分步判别阈值。 作者报告，在三个多模态数据集上开展的实验支持方法有效性，但摘要未提供数据集名称、模态组成、已知与未知类别划分、对照基线或具体指标。实验协议、消融及统计信息尚未验证，尚不能量化性能提升或判断不同扰动条件下的稳定性。 平台推测（待验证）：若 EEG 与另一同步模态共享类别监督，logit 空间融合和不确定性加权可能用于研究多模态 BCI 中的模态质量波动与未知状态拒识。可复用的是融合及判别思路，需改造各模态编码器、时间对齐与未知类阈值校准；低信噪比、跨被试偏移及小数据条件可能使模型对错误预测仍保持低熵，从而赋予不可靠模态过高权重。一个可证伪的小实验是在固定类别划分与被试隔离协议下，比较等权融合和熵加权融合，并仅在测试时扰动单一模态，同时评估已知类识别与未知类拒识。上述迁移并非论文已验证结论，相关 EEG 工作尚未检索确认。