跳到正文
OpenReview · EEG· Matin Fallahi; Ragini Ramesh; Pankaja Priya Ramasamy; Patricia Arias Cabarcos; Thorsten Strufe; Philipp Terhörst·· 2025-01-01精选AI 评分79

论生物特征数据集的可靠性:多少测试数据才能确保可靠性?

On the Reliability of Biometric Datasets: How Much Test Data Ensures Reliability?

AI 导读

基于摘要分析。该研究关注生物特征身份认证中报告错误率能否可靠反映系统实际性能的问题,提出 BioQuake,用于估计生物特征验证系统性能指标的不确定性,并据此提供性能不确定性估计与可靠报告的指导。这里的“可靠性”指有限测试数据带来的错误率估计不确定性,而非认证模型本身的准确率提升。 技术机制方面,摘要说明 BioQuake 是不确定性度量,但未给出其计算公式、统计假设、所需输入或对样本相关性的处理方式,因此尚不能判断其如何将测试数据规模转化为可靠性估计,也不能将其直接理解为通用的最低测试样本量标准。 作者报告,在四个系统、三个数据集上对 BioQuake 进行了经验验证,并进一步分析了研究中使用的 62 个生物特征数据集,覆盖 face、fingerprint、gait、iris、keystroke、eye movement、EEG 和 ECG 八种模态。作者报告,所分析的最先进性能报告常与实际错误率显著偏离,可能导致不准确的结论;但摘要未说明实际错误率的参照定义、偏离幅度及各模态分项结果。验证系统、数据集名称、数据划分、对照方法、实验协议及统计信息尚未验证。 该研究的主要对象是跨模态生物特征验证评估,EEG 是分析范围之一,并非专门提出 BCI 解码算法。对 EEG 身份认证研究,其阅读价值在于提醒读者同时检查错误率与估计不确定性;是否适用于跨被试、跨会话或相关样本条件,仍需核对正文,不能据摘要认定已验证这些协议。作者称已发布便于可靠性计算的 BioQuake 网页工具,但工具输入要求、可访问性及复现条件尚未验证。

阅读价值

BioQuake 将生物特征验证错误率的估计不确定性作为评估对象,值得用于审视 EEG 身份认证研究的测试数据充分性,但其具体计算机制与 EEG 分项结果尚未验证。

来源:OpenReview · EEG · openreview.net