实际研究中的测试集超参数搜索

基于摘要分析。该研究关注系统神经科学中解码模型的评估方法，考察同一测试集同时用于超参数选择和性能评估时，事后模型选择如何高估 EEG 解码准确率，并影响对不同模型架构的判断。 核心机制是：依据测试集表现挑选超参数，会偏向偶然拟合测试集不可泛化特征的模型。作者从存在这一做法的 EEG 解码研究中选取部分模型开展实验。作者报告，在所考察研究及其实验条件下，解码准确率的高估幅度为 0.74–1.24%；摘要未明确这一范围指相对百分比还是绝对百分点，因此不能进一步换算或与其他协议下的结果直接比较。 作者还报告，事后模型选择会偏向性能不稳定的架构：表现波动更大的模型实例更可能偶然匹配测试集，从而在筛选中胜出。这意味着此类评估不仅可能抬高结果，也可能误导架构研发，使复杂且不稳定的模型看起来优于更简单、稳定的模型；这并不意味着复杂模型普遍无效。 摘要未提供具体模型、数据集、被试数、被试内／跨被试／跨会话划分、搜索预算或重复实验设置。实验协议、消融及统计信息尚未验证。复现与阅读正文时，应重点核对超参数选择是否与最终测试隔离、比较架构时的搜索预算是否一致，以及性能波动和准确率高估的计算口径。现有材料不足以判断结论在不同 EEG 任务与评估协议下的适用范围。