跳到正文
OpenReview · Representation learning· Tianyu Pan; Stephen Wormald; Damon L. Woodard·· 2025-09-16AI 评分69

从 Kakeya 到核:面向鲁棒表征学习的多尺度几何框架

From Kakeya to Kernels: A Multi-Scale Geometric Framework for Robust Representation Learning

AI 导读

该研究针对深度学习经验效果与鲁棒性理论理解之间的差距,提出受 Kakeya 集猜想研究中的多尺度分析技术启发的几何表征框架,尝试将跨网络层的几何稳定性与输入扰动鲁棒性、模态缺失下的稳健性联系起来。基于摘要分析,未取得论文全文。 核心机制是将特征激活形式化为 representation field(表征场),并用“stickiness”描述其几何结构跨网络层的稳定性。作者以 multi-scale Wolff axioms 量化这种稳定性,并提出 Sticky Representation Theorem;作者报告,该定理建立了几何 stickiness 与网络功能鲁棒性之间的可证明关系,覆盖输入扰动及多模态场景中的模态缺失。摘要未提供定理假设、扰动范围、稳定性界或证明细节,尚不能判断其适用范围。 为将理论转化为训练约束,作者推导出 Katz-Tao Convex Wolff(KT-CW)Regularizer,称其为与架构无关的损失项,可能促进鲁棒、sticky 表征的学习。其创新重点是以统一几何语言连接表征质量、理论鲁棒性与训练正则化,而非摘要中已验证的性能提升。正则项的具体形式、计算开销、优化方式、数据集、对照基线、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若跨层几何稳定性能够在 EEG 表征上可靠估计,该约束可能用于研究噪声扰动下的表征稳定性;多模态缺失的理论路径则可能对应 EEG 与其他信号联合建模时的模态缺失问题,但不应直接等同于 EEG 通道缺失。可复用候选是 KT-CW 正则化思路,需改造表征场构造及多尺度几何估计,以适应 EEG 的时间、通道结构。低信噪比、跨被试分布变化和小样本可能使几何估计不稳定,过强的稳定性约束也可能抑制任务相关变化。待核对全文与实现后,可在同一 EEG 编码器、固定被试内划分和相同训练预算下,对比有无该正则项时干净输入及预设噪声扰动下的 Accuracy,以检验其是否提高扰动鲁棒性而不损害任务信息;这是假设性实验,不是论文结果。已有 EEG 相关工作尚未检索确认。

来源:OpenReview · Representation learning · openreview.net