跳到正文
OpenReview · Representation learning· Aviad Susman; Baihan Lin; mayte suarez-farinas; Joseph T Colonel·· 2025-09-20精选AI 评分74

SoftStep:学习稀疏相似度以驱动深度邻居回归

SoftStep: Learning Sparse Similarity Powers Deep Neighbor-Based Regression

AI 导读

基于摘要分析。本文研究深度回归模型中邻居方法难以替代线性预测头的问题,提出参数化模块 SoftStep,直接从数据学习稀疏、逐实例的相似度,并将其与已有邻居方法结合,以支持表征与邻居预测机制的联合学习。主要研究对象是通用深度回归,而非 EEG 或 BCI。 机制上,作者指出线性预测头便于与内部表征共同训练,而邻居方法在深度学习中的应用受到这一训练差异的限制。作者报告,理论分析表明,以均方误差为目标的邻居预测构成一种度量学习算法,可诱导出结构化的嵌入空间;进一步的解析与实证分析支持,这种表征结构与 SoftStep 的稀疏、逐实例相似度结合能够改善预测。摘要未给出相似度参数化、稀疏化方式、邻居选择及训练与推理流程,尚不能据此确定具体实现。 作者报告,在多种架构、领域和训练场景的回归评估中,结合 SoftStep 的邻居方法持续优于线性预测头,但摘要未提供数据集、划分、具体指标、数值及对照配置。实验协议、消融及统计信息尚未验证。作者还提出其可用于注意力机制、度量学习和表征对齐;这些属于适用性主张,不能视为各方向均已完成验证。 平台推测(待验证):若 EEG 连续目标回归中的样本表征存在可复用的局部邻域结构,SoftStep 可能作为线性预测头的替代方案。可复用部分是可学习相似度与邻居回归机制,需改造部分包括 EEG 编码器、训练参考样本库及跨被试邻居构建。低信噪比、通道差异和小样本可能使邻域更多反映被试或采集条件,而非目标变量。一个可检验的小实验是在同一 EEG 回归数据和固定被试内划分下,保持编码器、训练预算及指标一致,比较线性头、普通邻居回归与 SoftStep,并仅用训练集构建参考库。该迁移依赖带连续标签且足以形成可靠邻域的数据;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其邻居回归与均方误差目标如何共同塑造嵌入空间,以及稀疏、逐实例相似度相较线性预测头的收益是否在匹配训练与评估协议下成立。

来源:OpenReview · Representation learning · openreview.net