挽救困于错误决策区域内部的样本点:评估与改进 Forward-Forward 学习的目标
Rescuing Points Trapped Inside Incorrect Decision Regions: A target for Evaluating and Improving Forward-Forward Learning
基于摘要分析。本文研究 Forward-Forward 及相关逐层局部学习方法的评估问题,提出利用 Boundary Proximity Index(BPI)分析训练前后样本分类状态的变化,以区分学习带来的纠错增益与随机未训练表征本身的可分性。主要对象是通用分类表征学习,而非 EEG 或 BCI。 Forward-Forward 以局部、逐层训练目标替代端到端反向传播。作者指出,仅用表征上线性探针的分类 Accuracy 评价这类方法,可能高估学习本身的贡献:作者报告,未训练卷积神经网络的表征配合线性探针,Accuracy 已明显高于随机水平;摘要未提供具体任务、数值或探针训练协议。 BPI 是以类别质心参考量归一化的多分类间隔,用于刻画样本相对探针决策边界的位置。作者将分析应用于七种 Forward-Forward 变体及相关局部学习方法,报告初始误分类且靠近决策边界的样本,通常比深处错误决策区域的样本更容易在训练后被纠正;不同方法的纠正率差异明显,部分方法能够纠正相当一部分深处错误区域的样本。摘要未提供具体比例,因此不能据此量化方法间差距。 其贡献是将总体 Accuracy 拆解为样本层面的纠错行为,并把深处错误决策区域样本的纠正作为改进局部学习的目标。BPI 的精确定义、数据集与划分、探针拟合流程、训练前后比较协议、消融及统计信息尚未验证。 平台推测(待验证):这一评估思路可用于核查 EEG 表征训练相对随机初始化的实际增益,但不代表 Forward-Forward 已在 BCI 中有效。可复用样本分层与纠正率分析,需核对 EEG 特征尺度、类别质心稳定性及跨被试差异;低信噪比和小样本可能使深处错误区域混入噪声或异常样本。一个可检验的小实验是在固定跨被试划分与线性探针协议下,对比同一编码器随机初始化和训练后的 Accuracy,并按初始 BPI 分组统计纠正率与新增误分类率。已有 EEG 相关工作尚未检索确认。
该研究通过未训练网络基线与 Boundary Proximity Index 区分训练后被纠正和持续误分类的样本,为核查局部学习的表征增益提供了比单一 Accuracy 更细粒度的分析视角,具体复现条件尚未验证。
来源:arXiv · 表征与预训练 · arxiv.org