预测多视角 Rashomon Representation:能否学习模型在何处产生分歧?
Predicting Multi-View Rashomon Representation: Can We Learn Where Models Disagree?
不同基础模型可能对同一输入形成不一致的表示;本研究尝试从单个模型的表示预测这种跨模型分歧,以降低推理时估计输入可靠性所需的多模型计算。基于摘要分析,未取得论文全文。 作者将多模型对同一输入的表示差异称为 Rashomon Representation。其核心机制是比较每个样本在不同模型表示空间中的最近邻,以量化表示分歧,再训练轻量预测器,以单模型表示预测该分歧。推理阶段,预测器只接收新输入在一个模型中的表示,估计它是否与其他模型的表示一致。相较于直接测量多模型分歧,本研究的关注点是分歧是否具有可学习、依赖输入的规律。 作者报告,在多种基础模型和数据集上的实验表明,表示分歧具有输入依赖性、可预测性和泛化能力,可用于高效可靠性估计。摘要未提供模型与数据集名称、邻域比较公式、预测目标、训练损失、划分协议、基线或量化指标;实验协议、消融及统计信息尚未验证。还需核对“泛化”具体指向哪些模型、数据或分布,以及分歧预测准确是否同时意味着能识别任务错误,不能将二者直接等同。 平台推测(待验证):若多个 EEG 编码器对同一批样本均能输出表示,可用跨表示空间的邻域差异构建监督目标,再复用轻量预测器,检验单模型是否能识别表示不稳定的输入。这对应 EEG 跨被试、跨会话条件下的可靠性评估问题,但依赖足够且可比的参考样本和多编码器表示;邻域定义、归一化及被试与会话划分需要针对 EEG 改造。低信噪比、通道差异和小数据可能使邻域不稳定,分歧也可能反映模型偏好而非输入不可靠。一个可证伪的小实验是在固定任务和通道配置下,用训练被试构建分歧目标,在独立被试上分别检验预测器对真实分歧的预测能力,以及预测分歧与分类错误的关联;已有 EEG 相关工作尚未检索确认。
值得核对其能否将多模型表示分歧转化为单模型推理时可用的可靠性信号,尤其应检查分歧预测的泛化范围及其与实际错误的关系。
来源:OpenReview · Representation learning · openreview.net