跳到正文
OpenReview · Representation learning· Yuxuan Zhou; Heng Li; Zhi-Qi Cheng; Xudong Yan; Mario Fritz; Margret Keuper·· 2024-09-24精选AI 评分77

MaxSup:修正 Label Smoothing 以改善特征表征

MaxSup: Fixing Label Smoothing for Improved Feature Representation

AI 导读

基于摘要分析。本文研究 Label Smoothing 如何影响特征表征,提出 Max Suppression(MaxSup),旨在避免模型错误预测时出现与正则化目标相悖的过度自信。原研究对象是图像分类与机器翻译,而非 EEG 或 BCI。 机制方面,作者将 Label Smoothing 引入的损失分解为正则化项与错误增强项,并据此指出:当分类器预测错误时,Label Smoothing 可能反而鼓励过度自信。MaxSup 的设计目标是不依赖预测是否正确,持续施加预期的正则化作用。摘要未给出损失公式、超参数或实现细节,尚不能确认其具体计算方式与训练开销。 作者报告,特征可视化显示 MaxSup 扩大了类内变化,同时改善类间可分性;在图像分类与机器翻译实验中,作者报告其优于所比较方法。摘要未提供数据集、划分、基线配置或具体指标,因此无法判断收益幅度及适用范围。实验协议、消融及统计信息尚未验证。材料提供了匿名实现链接,但代码内容与复现条件尚未核验。 平台推测(待验证):其可迁移假设是,EEG 分类中的标签平滑也可能压缩具有判别价值的类内差异,MaxSup 或可作为训练损失层面的替换模块。该路径依赖有监督分类标签,不要求直接复用图像或文本输入结构;EEG 编码器、标签定义和正则化强度仍需适配。低信噪比下扩大类内变化也可能保留伪迹或被试差异,小数据时收益可能不稳定。可在固定 EEG 编码器与跨被试划分下,仅比较普通交叉熵、Label Smoothing 和 MaxSup,核对分类表现、错误预测置信度及类内/类间表征变化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其对 Label Smoothing 损失的分解,以及 MaxSup 在错误预测时维持正则化作用的机制;摘要报告了表征与任务性能改善,但具体收益及 EEG 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net