跳到正文
OpenReview · Representation learning· Wenqian Dong; Teng Yang; Jiahui Qu; Tian Zhang; Song Xiao; Yunsong Li·· 2023-01-01精选AI 评分73

面向高光谱与 LiDAR 分类的字典对齐联合上下文表征模型驱动可解释网络

Joint Contextual Representation Model-Informed Interpretable Network With Dictionary Aligning for Hyperspectral and LiDAR Classification

AI 导读

基于摘要分析。本文研究高光谱图像(HSI)与 LiDAR 数据融合的地表覆盖分类,针对黑箱网络可解释性不足及异构互补信息利用不充分的问题,提出多源对齐联合上下文表征模型驱动可解释分类网络 MACRMoI-N。其贡献是将光谱、空间与高程信息的字典对齐机制嵌入模型,并将求解过程展开为端到端训练网络。 方法首先构建多模态对齐联合上下文表征分类模型 MACR-M,将局部空间—光谱先验纳入表征,通过迭代算法求解 HSI、LiDAR 字典及对应稀疏系数,同时对齐字典分布,使多源互补信息参与分类。随后将优化算法展开为 MACRMoI-N,各模块对应特定求解操作,参数通过端到端训练优化。这里的可解释性主要来自网络模块与优化步骤的对应关系,不能据摘要进一步认定其具有因果解释能力。 作者报告,比较实验与消融研究显示 MACRMoI-N 优于其他先进方法;但摘要未提供数据集、数据划分、对照方法名称或具体指标,优势幅度尚无法核对。字典对齐的具体约束、优化目标、展开深度,以及实验协议、消融及统计信息尚未验证。 平台推测(待验证):可考察其“字典对齐+算法展开”机制是否适用于同步 EEG 与其他模态的互补表征,但原方法依赖局部空间—光谱结构和高程信息,不能直接等同于神经信号融合。可复用部分是字典、稀疏表征与展开求解框架;需改造局部先验和跨模态对应关系。低信噪比、通道差异及小样本可能使对齐压制模态特有信息。一个可证伪的小实验是在固定划分的配对 EEG–fNIRS 数据上,以相同展开框架比较启用与关闭字典对齐的分类表现,检验对齐是否带来稳定增益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是将多源字典分布对齐与迭代算法展开结合的具体机制,可用于考察模型驱动网络如何利用互补信息,但其分类优势和可解释性仍需结合全文协议核对。

来源:OpenReview · Representation learning · openreview.net