跳到正文
OpenReview · Representation learning· Camila Kolling; Till Speicher; Vedant Nanda; Mariya Toneva; Krishna P. Gummadi·· 2023-09-23精选AI 评分77

探索表征的逐点相似性

Exploring Pointwise Similarity of Representations

AI 导读

基于摘要分析。本文研究整体表征相似度可能掩盖的单样本差异,提出 Pointwise Normalized Kernel Alignment(PNKA),用于量化同一输入在不同表征空间中的相似性,并分析随机初始化、数据扰动与模型约束对表征的影响。 核心思路是将比较粒度从一组 N 个输入的整体相似度,转向单个输入的表征相似度。研究比较架构相同、仅随机初始化不同的模型。作者报告,标准模型主要对来自训练数据分布的多数输入形成相似表征,而对抗训练模型对更广泛的分布外输入也形成相似表征;作者据此将后者解释为具有更“稳定”的表征。这里的稳定性指跨初始化模型之间的表征一致性,不能直接等同于预测准确性或任务鲁棒性。作者还使用 PNKA 分析数据损坏及公平性约束等干预对表征的影响。 摘要未提供 PNKA 的计算公式、归一化方式、参照样本需求、数据集、定量结果或计算开销,实验协议、消融及统计信息尚未验证。复现时需核对逐点分数如何构造,以及它相对整体相似度指标提供了哪些额外信息。 平台推测(待验证):若 PNKA 可应用于具有共同输入对应关系的 EEG 模型表征,它可能帮助定位整体相似度掩盖的不稳定试次。可复用的是逐点比较思路,需改造和核对的是 EEG 试次对齐、特征尺度及参照样本构造;低信噪比、通道差异和小样本可能使分数反映噪声而非任务信息。一个小规模检验是假设在固定 EEG 数据划分下,对同架构、不同随机初始化的模型计算逐试次 PNKA,检查低相似度试次是否更常出现预测分歧;该关系应在独立测试集上验证。已有 EEG 相关工作尚未检索确认。

阅读价值

PNKA 将跨模型表征比较细化到单个输入,可用于检查整体相似度掩盖的样本差异;其对分布外稳定性的解释及向 EEG 分析的适用性仍需验证。

来源:OpenReview · Representation learning · openreview.net