跳到正文
OpenReview · Representation learning· Bjørn Leth Møller; Christian Igel; Kristoffer Knutsen Wickstrøm; Jon Sporring; Robert Jenssen; Bulat Ibragimov·· 2024-05-02精选AI 评分73

Finding NEM-U:通过神经网络生成的解释掩码解释无监督表征学习

Finding NEM-U: Explaining unsupervised representation learning through neural network generated explanation masks

AI 导读

基于摘要分析。本文研究如何解释无监督学习得到的向量嵌入,即识别输入中哪些部分对表征最重要。作者提出 Neural Explanation Masks(NEM)框架,通过为固定的表征模型增配掩码网络,使其在推理计算表征的同时生成遮挡式解释,而非在模型完成计算后再单独生成解释。 核心机制是将解释生成交给附加网络,并利用分割掩码与遮挡式解释掩码之间的相似性。具体实例 NEM-U(NEM using U-net structure)采用 U-net 结构;摘要未披露掩码网络的训练目标、遮挡操作、表征保持约束或具体训练流程,这些实现条件尚未验证。 作者报告,在其摘要所述实验中,相比所比较的当前先进解释方法,NEM-U 生成解释更快、复杂度更低,同时保持以 locality 衡量的较高准确性。摘要未提供数据集、对照方法名称、具体数值、复杂度口径及 locality 的定义,因此不能据此量化优势,也不能将 locality 直接等同于解释的因果忠实性。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将该机制用于 EEG 无监督表征,可能通过时间、通道或时频掩码定位影响嵌入的输入区域。该假设依赖可用的固定 EEG 表征模型、适配输入结构的掩码网络及明确的解释评价标准;可复用的是并行生成掩码的框架,需要改造的是掩码结构与遮挡方式。低信噪比、通道相关性、跨被试差异及小数据可能使掩码突出伪迹或不稳定区域。一个可检验的小实验是在固定数据划分与同一 EEG 编码器下,对比 NEM 式掩码和逐区域遮挡方法的解释耗时、表征扰动及重复训练稳定性,不预设其有效。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其为固定表征模型增配掩码网络、在推理时并行生成遮挡式解释的机制;作者报告的速度、复杂度与 locality 优势仍需结合全文中的评价定义和对照协议核验。

来源:OpenReview · Representation learning · openreview.net