物体识别基准中数据集偏差的比较
Comparison of Data Set Bias in Object Recognition Benchmarks
基于摘要分析。该研究考察物体识别基准中的分类表现是否可能来自数据集内的非对象线索,而非对象识别能力;核心方法是从每张图像中截取看似空白、且小到无法人工识别对象的区域,用这些子图进行分类,以检测并比较数据集偏差。 这一设计保留原图的类别归属,却大幅削弱可人工解释的对象信息。作者报告,在所有受测数据集中,子图分类的 Accuracy 均高于随机机会水平;在受测数据集范围内,PASCAL 的观测偏差最低,而在受控环境中采集的 COIL-20、COIL-100 和 NEC Animals 更易受到此类偏差影响,子图分类的 Accuracy 远高于随机机会水平。摘要未给出具体数值、分类器、图块大小与位置、数据划分或机会水平的计算方式,实验协议、消融及统计信息尚未验证。这些结果支持非目标线索可能驱动分类的解释,但不能据此断言相关基准上的所有算法都未识别对象。 平台推测(待验证):该思路可用于检查 EEG 解码是否依赖采集条件或其他非目标信息,而非目标神经活动。原方法依赖样本级类别标签,以及能够削弱目标信息、同时保留部分采集特征的输入区域;迁移时可复用其负对照框架,但需重新界定 EEG 中的对照时间窗或信号片段,不能将视觉上的“空白”直接等同于没有神经信息。低信噪比、小样本以及标签与被试、会话或通道配置共变,均可能使结果难以解释。 一个可检验的小实验是假设任务前基线窗不含目标任务信息,在固定的 Cross-subject 划分下,对比基线窗与任务窗的解码表现,并用保持被试结构的标签置换估计机会水平;若基线窗仍可预测类别,再核查采集条件与标签的关联,而非直接判定泄漏。已有 EEG 相关工作尚未检索确认。
该研究以不含可人工识别对象信息的小图块检验数据集偏差,为区分任务识别能力与非目标线索驱动的分类提供了可复现思路,但其向 EEG 评估的适用性尚未验证。
来源:OpenReview · State space models · openreview.net