跳到正文
arXiv · 学习目标与优化· Saad Alqithami·· 1 天前精选AI 评分78

CÆNL:基于坍缩的主动神经网络学习与目标对齐的表示控制

CÆNL: Collapse-Based Active Neural Learning with Objective-Aligned Representation Control

AI 导读

基于摘要分析。本文研究主动学习中表示变化与后续标签采集之间的相互影响,提出 Collapse-Based Active Neural Learning(CÆNL),将采样策略、Dynamic Collapse Regularization(DCR)及其系数策略分离。作者报告,该组合在所评估的图像分类条件下提高了 Accuracy,但未确立自适应系数优于独立调优的固定系数,也不能由表示几何改善推导输入鲁棒性。 机制上,DCR 对超过冻结参考值的归一化类内/类间散度残差施加惩罚,并设置独立的类别分离保障。固定、预设调度、确定性反馈和学习式反馈策略均用于控制这一目标的系数。作者报告理论分析涉及散度不变性、条件性局部下降与系数界;具体损失公式、参考值构造和保障条件尚未验证。 实验包括六随机种子的分类比较,以及一项将控制策略选择与评估分开的 104 次运行研究,其中两个骨干各用十随机种子评估。在 ImageNet-100、60% 标注比例下,作者报告熵采样结合 DCR 与 MACC-Lite,在 ResNet-50 上达到 73.420 ± 0.512% Accuracy,在 ResNet-18 上达到 73.086 ± 0.397%(均值 ± 随机种子标准差),分别比仅熵采样提高 1.742 和 1.834 个百分点。两个骨干使用不变的反馈设置;配对 t 检验及精确符号翻转检验中的增益均通过 Holm 校正。不过,独立调优的固定系数平均 Accuracy 略高,配对比较既未确立自适应策略更优,也未确立二者等效。 作者另报告,六随机种子的谱相关研究显示固定正则化仅小幅降低 C4 loss,CIFAR-10 diffusion FID 变差,AudioCaps 描述生成效果未有定论。早期分类实验在 L-infinity 半径 8/255 的 AutoAttack 下 Accuracy 接近零,且学习式控制未带来额外收益。因此,证据支持的是已评估的分类组合处理,而非跨任务普适收益或对抗鲁棒性。数据划分、标注采集流程、消融及统计细节尚未验证。 平台推测(待验证):假设 EEG 分类具备可估计的类别表示与散度结构,DCR 可作为主动标注过程中控制表示几何的候选模块;采样与系数控制框架可能复用,但需适配 EEG 编码器及被试差异。低信噪比、小样本和跨被试分布变化可能使散度估计不稳定,或把被试特征误当作类别结构。可在固定标注预算和一致划分下比较仅熵采样、熵采样加固定 DCR、熵采样加反馈 DCR,分别检验分类收益与控制策略增益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是其将主动学习采样、表示正则化与系数控制分开评估,并明确区分分类收益、自适应控制优势和输入鲁棒性,便于核对几何约束究竟改善了什么。

来源:arXiv · 学习目标与优化 · arxiv.org