跳到正文
OpenReview · State space models· Rishabh Dudeja; Daniel Hsu·· 2018-01-01精选AI 评分82

高斯空间中的单索引模型学习

Learning Single-Index Models in Gaussian Space

AI 导读

研究针对高斯协变量上的非线性回归,目标是恢复决定响应的低维投影所张成的索引空间;核心贡献是刻画单索引模型的总体优化景观,并给出恢复索引方向及处理模型误设的迭代方法与理论保证。基于摘要分析,未取得论文全文。 原问题设定为:响应由 p 维正态分布协变量的 k 维投影经过平滑非线性函数生成,并叠加高斯噪声;k=1 时称为单索引模型。作者报告,对一个自然的半参数最大似然目标,可依据链接函数刻画其总体优化景观,并证明不存在伪局部极小值。该结论针对总体目标,不能据此认定有限样本目标或任意初始化的实际优化过程具有同样性质。 作者报告,所提出的高效迭代程序在单索引设定下,以样本量 Õ(p^{O(R²/μ)} + p/ε²) 将索引空间恢复至误差 ε,其中 R 与 μ 分别表征链接函数的平滑性和信号强度。将真实多索引模型误设为单索引模型时,基本相同的程序以样本量 Õ(p^{O(kR²/μ)} + p/ε²) 返回一个距完全落在真实索引空间内不超过 ε 的向量;这不等于恢复整个 k 维空间。具体误差度量、迭代步骤、有限样本条件、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 特征与连续响应之间可近似为少数投影方向驱动的平滑非线性关系,该机制可能用于监督式低维特征提取。可复用的是索引方向估计思想,需要改造的是协变量分布假设及对相关噪声的处理;低信噪比、跨被试分布变化、通道相关性和小样本均可能使理论条件失效。一个可检验的小实验是先在高斯合成数据上核对方向恢复,再逐步引入非高斯特征和相关噪声,比较估计方向与已知索引空间的距离,测试保证的适用边界;这不构成 EEG 有效性验证,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其高斯协变量条件下单索引模型的总体优化景观与样本复杂度分析,尤其是将多索引模型误设为单索引模型时仍能接近真实索引空间的理论保证,但这些结论尚不能直接外推至 EEG。

来源:OpenReview · State space models · openreview.net