跳到正文
OpenReview · State space models· Jayadeva; Mayank Sharma; Sumit Soman; Himanshu Pant·· 2018-01-01精选AI 评分72

通过最小化经验特征空间中的 VC 维学习超稀疏分类器——投稿至“非主流方向:面向模式识别的神经网络与机器学习进展”专刊

Ultra-Sparse Classifiers Through Minimizing the VC Dimension in the Empirical Feature Space - Submitted to the Special Issue on "Off the Mainstream: Advances in Neural Networks and Machine Learning for Pattern Recognition"

AI 导读

基于摘要分析。本文研究通用分类器的稀疏表示与泛化能力,提出经验特征空间(Empirical Feature Space,EFS)中的 minimal complexity machine(MCM)及其最小二乘版本,以降低模型复杂度并提高稀疏性;研究对象并非 EEG 或 BCI。 原始 MCM 通过最小化 VC 维的紧界学习超平面分类器,并可在输入空间或隐式高维特征空间中以原始形式求解。本文将分析集中于限制在 EFS 内的超平面;EFS 是由高维特征空间中的样本映射向量张成的有限维向量空间。摘要将线性超平面分类器的 VC 维与所使用的特征数联系起来,并据此把 EFS 维数作为稀疏性和模型复杂度的度量,构造相应优化问题。该关系的具体成立条件,以及 EFS 维数、有效特征数与实际稀疏表示之间的对应,需结合正文核对。 作者报告,在其分类实验中,EFS 变体得到稀疏模型,泛化表现与当时先进方法相当。摘要未提供数据集、划分协议、对照方法、评价指标或具体数值,因此不能量化性能收益,也不能确定稀疏性体现为多少特征或表示系数。优化目标、最小二乘版本的损失与约束、计算开销、实验协议、消融及统计信息尚未验证。标题仅表明投稿至专刊,不能据此认定已接收或正式发表。 平台推测(待验证):其机制可能用于控制小样本 EEG 分类的特征表示复杂度,但原领域结果不等于 BCI 有效性。假设可复用 EFS 表示和 MCM 优化框架,需改造 EEG 特征提取、核映射及正则化选择;低信噪比、通道差异和跨被试分布变化可能使稀疏表示丢失判别信息。可在固定运动想象 EEG 数据划分下,对比 EFS-MCM、原始 MCM 与 SVM,统一调参预算并仅用训练数据构造 EFS,同时记录 Accuracy、有效表示规模和推理耗时,以检验稀疏化是否在不损害分类表现的前提下成立。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何将经验特征空间维数与模型复杂度、稀疏性联系起来,以及 EFS-MCM 的优化实现;作者报告的泛化与稀疏性优势仍需结合完整实验协议验证。

来源:OpenReview · State space models · openreview.net