跳到正文
arXiv · 学习目标与优化· Ricardo Baptista; Edoardo Calvello; Bohan Chen; Andrew Stuart; Urbain Vaes·· 2 天前精选AI 评分81

测度神经映射

Measure Neural Mappings

AI 导读

基于摘要分析。本文研究概率测度上的算子学习,提出 measure neural mappings(MNMs,测度神经映射),将依赖测度的神经输运与集合一致性结合起来。集合一致性要求:从输入概率律采样的集合规模增大时,模型输出依概率收敛到指定的总体输出。 理论核心是在强次高斯及尾部可积性假设下,为非紧支撑概率律上的 attention 建立定量连续极限,以覆盖 Bayesian inference 和 uncertainty quantification 等科学机器学习中的无界状态空间。作者报告,对固定 self-attention transformer,期望输出 Wasserstein 误差可由经验输入 Wasserstein 误差及额外的 N^{-1/2} attention 项控制;这不意味着总体误差在所有维度下均以 N^{-1/2} 衰减。pre-norm 架构的论证依赖归一化后的紧致稳定性,post-norm 架构则由所述尾部条件覆盖。 作者还给出 cross-attention 的对应估计,并将结果扩展到 multihead attention 和分组 transformer 求值,后者随组规模增大而收敛。对作为测度到向量映射的 Set Transformers,作者报告在所述假设下,期望欧氏输出误差具有 N^{-1/2} 上界。实验涵盖七个算子及 d=1、2、3、5、10 的维度设置,使用一维 Wasserstein 计算与高维 Sinkhorn 近似;作者报告观测到的 Wasserstein 和 sliced Wasserstein 衰减率接近各自的理论采样基准。具体算子、采样协议、对照、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务将多个试次表示为经验分布,该机制可能用于研究集合编码器对试次数变化的稳定性。可复用的是集合 attention 与测度到向量映射,需改造的是 EEG 特征表示及采样建模;时间相关性、跨被试分布变化、低信噪比和重尾伪迹均可能使理论假设不成立。一个可检验的小实验是固定被试内编码器,从独立留出的试次池反复抽取不同规模集合,测量输出相对大集合参考的偏差随规模的变化;该参考不等于真实总体输出。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其对 attention 的有限样本集合与总体输出之间误差的定量分析,但结论依赖尾部条件,不能直接视为 EEG 或 BCI 中的稳定性保证。

来源:arXiv · 学习目标与优化 · arxiv.org