测度神经映射:注意力连续极限与误差界
先了解这件事
基于摘要分析。该研究(arXiv:2610.17384)面向概率测度上的算子学习,提出测度神经映射,将依赖测度的神经输运与集合一致性结合,要求采样集合增大时输出依概率收敛至总体输出。 作者报告,在强次高斯及尾部可积性假设下,为非紧支撑概率律上的注意力建立定量连续极限。固定自注意力模型的期望输出Wasserstein误差受经验输入误差及额外N^{-1/2}项控制,不代表总体误差在所有维度均按此速率下降。 实验涉及七个算子、d=1、2、3、5、10;一维使用Wasserstein计算,高维使用Sinkhorn近似,作者报告Wasserstein及切片Wasserstein衰减率接近各自采样基准。具体算子、采样划分、对照及统计信息尚未验证;未提供可核对的版本差异。平台分析:尚无该成果的EEG验证,相关性与重尾伪迹可能使理论假设不成立。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv · 学习目标与优化精选测度神经映射
基于摘要分析。本文研究概率测度上的算子学习,提出 measure neural mappings(MNMs,测度神经映射),将依赖测度的神经输运与集合一致性结合起来。集合一致性要求:从输入概率律采样的集合规模增大时,模型输出依概率收敛到指定的总体输出。 理论核心是在强次高斯及尾部可积性假设下,为非紧支撑概率律上的 attention 建立定量连续极限,以覆盖 Bayesian inference 和 uncertainty quantification 等科学机器学习中的无界状态空间。作者报告,对固定 self-attention transformer,期望输出 Wasserstein 误差可由经验输入 Wasserstein 误差及额外的 N^{-1/2} attention 项控制;这不意味着总体误差在所有维度下均以 N^{-1/2} 衰减。pre-norm 架构的论证依赖归一化后的紧致稳定性,post-norm 架构则由所述尾部条件覆盖。 作者还给出 cross-attention 的对应估计,并将结果扩展到 multihead attention 和分组 transformer 求值,后者随组规模增大而收敛。对作为测度到向量映射的 Set Transformers,作者报告在所述假设下,期望欧氏输出误差具有 N^{-1/2} 上界。实验涵盖七个算子及 d=1、2、3、5、10 的维度设置,使用一维 Wasserstein 计算与高维 Sinkhorn 近似;作者报告观测到的 Wasserstein 和 sliced Wasserstein 衰减率接近各自的理论采样基准。具体算子、采样协议、对照、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务将多个试次表示为经验分布,该机制可能用于研究集合编码器对试次数变化的稳定性。可复用的是集合 attention 与测度到向量映射,需改造的是 EEG 特征表示及采样建模;时间相关性、跨被试分布变化、低信噪比和重尾伪迹均可能使理论假设不成立。一个可检验的小实验是固定被试内编码器,从独立留出的试次池反复抽取不同规模集合,测量输出相对大集合参考的偏差随规模的变化;该参考不等于真实总体输出。已有 EEG 相关工作尚未检索确认。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。