跳到正文
OpenReview · State space models· Mara Graziani; Laura O'Mahony; An-Phi Nguyen; Henning Müller; Vincent Andrearczyk·· 2023-01-01精选AI 评分72

通过潜在空间分解揭示独特概念向量

Uncovering Unique Concept Vectors through Latent Space Decomposition

AI 导读

基于摘要分析。该研究针对概念解释依赖人工预定义概念、容易受使用者预期影响的问题,提出事后无监督方法,从已训练深度模型的潜在表征中自动发现概念向量;主要研究对象是通用深度模型的可解释性与训练数据探索,并非 EEG 或 BCI 解码。 方法将模型某一层的潜在空间分解为奇异向量,再通过无监督聚类细化,旨在获得沿高方差方向、与模型预测相关且语义相互区分的概念向量。相较于预定义概念的分析,其关键变化是从模型表征中发现概念,而非先由使用者指定解释词汇。摘要未说明具体分解矩阵、聚类算法、概念数量选择或预测相关性的计算方式,这些实现条件尚未验证。 作者报告,在所开展的实验中,多数发现的概念可被人理解、具有一致性并与任务相关;作者还报告,该方法可在训练数据探索中识别受多种混杂因素影响的异常样本。摘要未提供数据集、模型架构、评价协议、对照基线或定量指标,实验协议、消融及统计信息尚未验证。作者提出的跨数据类型与模型架构适用性也需结合具体实验范围核对。 平台推测(待验证):若 EEG 解码器的层内表征具有可分解的稳定结构,可复用其表征分解与聚类流程,探索高方差方向对应任务信息还是伪迹、被试差异等混杂因素;需将概念展示与验证方式改造为适合 EEG 的时频、空间或试次级分析。该假设不等于已有 EEG 效果:低信噪比、通道差异及小样本可能使高方差方向主要反映噪声,而非稳定语义。一个可检验的小实验是在固定 EEG 解码器和数据划分下,检查发现的概念能否稳定区分已标注伪迹与任务类别,并通过概念方向干预核对其预测相关性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其通过奇异向量分解与无监督聚类发现概念、定位混杂训练样本的机制,但概念的语义独特性及跨数据类型适用范围仍需全文实验支持。

来源:OpenReview · State space models · openreview.net