跳到正文
arXiv · 学习目标与优化· Honghao Lin; Songbin Liu; Arian Maleki; Vahab Mirrokni; Chen Shang; David P. Woodruff; Hanbo Yang; Wenjin Zhang·· 1 天前精选AI 评分81

高维分块非光滑正则化下近似留一法的准确性

On the Accuracy of Approximate Leave-One-Out with Blockwise Nonsmooth Regularization in High-dimensions

AI 导读

基于摘要分析。本文研究高维经验风险最小化中,采用促进块稀疏的非光滑正则项时,近似留一法(Approximate Leave-One-Out,ALO)能否准确逼近精确留一损失。主要贡献是为一类启发式 ALO 方法给出理论误差保证,而非提出 EEG 或 BCI 模型。 ALO 用于降低留一风险估计的计算成本,常见方法依赖少量 Newton 步,因此对损失函数和正则项的光滑性存在要求。本文针对不可微、促进块稀疏的惩罚项展开分析。作者报告,在比例高维极限且块大小一致有界等假设下,精确留一损失与 ALO 近似之间的平均绝对差异,其期望为 O(log^{3/2}(en)/√n)。该界针对平均损失差异,不等同于逐样本误差或分类 Accuracy 保证;完整适用条件尚未验证。 证明的关键是精细控制全数据估计器与留一估计器之间,活跃状态发生变化的组数,从而分析稀疏估计器对训练数据扰动的稳定性。作者称,相较既有工作,该分析在更弱假设下给出更强保证;具体对照定理、假设差异、数值实验及有限样本表现尚未验证。 平台推测(待验证):若 EEG 解码采用按通道或特征组组织的块稀疏经验风险最小化,该机制可能用于评估低成本风险估计的可靠性。可复用的是 ALO 与活跃组稳定性分析,需重新核对损失函数、分组大小及样本相关性;低信噪比、跨被试异质性和小样本可能使活跃组更不稳定。一个可检验的小实验是在固定的被试内划分中,对同一块稀疏估计器比较精确留一与 ALO 的平均绝对损失差异,并记录活跃组变化;相关 EEG 工作尚未检索确认,不能据此推定跨被试有效性。

阅读价值

值得关注的是其通过控制留一扰动下活跃组状态变化,为分块非光滑正则化的 ALO 误差提供理论界;适用假设及其对 EEG 小样本风险估计的意义仍需核对全文。

来源:arXiv · 学习目标与优化 · arxiv.org