跳到正文
OpenReview · State space models· Yucheng Xie; Songyue Cai; Tao Tong; Ping Hu; Xiaofeng Zhu·· 2025-01-01精选AI 评分73

通过稳定特征空间寻找代理点以实现噪声对应学习

Seeking Proxy Point via Stable Feature Space for Noisy Correspondence Learning

AI 导读

基于摘要分析。研究针对互联网多模态数据中的噪声对应问题,即跨模态样本之间存在错误或不完整匹配,提出 Seeking Proxy Point via Stable Feature Space(SPS)。其核心思路不是仅修正软标签,而是在稳定特征空间中为含噪数据寻找代理表示,以支持可靠的跨模态特征学习。 机制上,SPS 先通过细粒度划分获得高置信度可靠集,再结合模态间交叉变换一致性约束与模态内度量一致性约束构建稳定特征空间,随后为含噪数据寻找代理点;对于部分匹配的数据对,进一步采用部分对齐。摘要未给出可靠集筛选准则、代理点计算方式、具体损失及训练流程,这些内容尚未验证。 作者报告,SPS 在三个常用跨模态数据集上显著优于以往方法,但摘要未提供数据集名称、噪声构造方式、划分、评价指标、具体分数或统计检验信息,因而无法判断收益幅度及适用边界。材料提供了代码仓库地址,但代码内容与可复现性尚未核验;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 与图像、文本等模态的配对训练数据存在错配,稳定空间与代理表示机制可能用于缓解配对噪声,而非直接解决一般 EEG 分类问题。可考虑复用一致性约束与代理点搜索,需改造 EEG 编码器、时间对齐及可靠集筛选方式;该假设依赖可用的跨模态配对数据和足够可信的初始表示。低信噪比、跨被试差异、通道配置变化与小数据可能使可靠集筛选偏向少数被试,或使代理点强化错误匹配。可在固定被试划分下,对 EEG—刺激配对训练集注入受控错配,比较原始训练、软标签修正与 SPS 的跨模态检索指标,并消融代理点机制。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 SPS 如何通过跨模态与模态内一致性构造稳定特征空间,并为错配样本寻找代理表示;其相对软标签修正的收益仍需结合全文实验协议与消融验证。

来源:OpenReview · State space models · openreview.net