超越离散选择:用于生成式特征选择的连续嵌入空间优化
Beyond Discrete Selection: Continuous Embedding Space Optimization for Generative Feature Selection
基于摘要分析。本文研究通用特征选择,针对不同领域选择标准不统一,以及高维小样本条件下选择性能下降的问题,将离散特征子集搜索重构为连续嵌入空间中的可微优化任务;其主要贡献是结合子集编码、性能预测、梯度搜索和子集重建的生成式特征选择框架,而非直接研究 EEG 或 BCI。 框架包含 sequential encoder、accuracy evaluator、sequential decoder 和 gradient ascent optimizer。作者先利用强化学习式特征选择生成多样且高质量的“特征子集—准确率”训练数据,再通过重建损失与准确率损失学习子集的连续表示;随后在嵌入空间中进行梯度上升搜索,将优化后的表示解码为特征子集,并选择下游任务表现最高的子集。相较直接在离散组合空间搜索,其机制特点是借助可微性能评估器引导候选生成;具体损失形式、子集序列表示及有效性约束尚未验证。 作者报告实验显示特征选择鲁棒性和准确率有所提升,但摘要未提供数据集、样本规模、划分协议、对照基线或数值,无法据此量化收益或判断不同协议下的可比性。作者称已通过 Dropbox 发布代码与数据;本材料未提供可核对的资源地址。训练数据生成成本、性能评估器在新子集上的预测误差、搜索与最终评估的数据隔离、消融及统计信息均尚未验证。 平台推测(待验证):若 EEG 下游任务采用固定的通道、频段或时频特征表示,该机制可能用于高维小样本条件下的特征子集搜索。可复用模块是子集编码、性能预测与连续优化;需改造候选特征表示、下游评价目标及验证协议。低信噪比、通道相关性、跨被试差异和有限样本可能使评估器学习到不稳定的性能排序。一个可检验的小实验是在固定 EEG 特征与分类器条件下,于训练部分内部生成子集及验证得分,在相同搜索预算下与离散搜索比较,并在独立留出被试上检验收益。该假设不代表已证实的 BCI 效果,相关 EEG 工作尚未检索确认。
该研究将离散特征子集搜索转化为可微连续空间优化,值得核对其性能评估器的泛化能力与搜索成本,但摘要不足以验证高维小样本优势或 EEG 适用性。
来源:OpenReview · State space models · openreview.net