跳到正文
OpenReview · Representation learning· Suyun Zhao·· 2023-06-03精选AI 评分72

通过表征增强进行超类学习

Superclass Learning with Representation Enhancement

AI 导读

基于摘要分析。研究针对图像分类中由专家知识定义的超类:一个超类可能包含大量语义差异明显的原始类别,而训练时未必具备原始类别标签。论文提出 SuperClass Learning with Representation Enhancement(SCLRE),通过增强表征学习超类判别边界,试图缓解超类内部异质性带来的识别困难与细粒度标注成本。 核心机制是利用批次内样本之间的自注意力,弱化原始类别的边界并增强各超类的表征,再在增强后的表征空间重建面向超类的决策边界。摘要未说明注意力如何使用超类标签、批次如何构造,也未给出骨干网络、损失函数或训练与推理的具体流程,这些均尚未验证。 作者报告,从理论上可在超类场景下对使用注意力的 SCLRE 泛化误差给出上界;该结论的假设条件及界的具体形式尚需正文核对。作者报告,在 CIFAR-100 和四个高分辨率数据集上,SCLRE 优于基线及其他基于对比学习的方法。摘要未提供后四个数据集名称、超类构造方式、数据划分、评价指标或提升幅度,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务确实存在“同一目标标签下包含多种异质子状态、但缺少子状态标签”的结构,批次内表征增强可能具有方法借鉴价值;这是假设,并非已证实的 BCI 效果。可考虑复用样本间注意力机制,但需改造 EEG 特征编码与批次采样,避免将被试或通道差异当作目标语义。低信噪比、小数据及不均衡批次可能使注意力聚合放大无关变化。一个可检验的小实验是在固定 EEG 编码器和相同跨被试划分下,对比有无批次内注意力的目标分类表现,并检验对批次组成的敏感性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 SCLRE 如何利用批次内自注意力,在仅有超类标签的图像分类任务中整合异质原始类别,以及其泛化界所依赖的假设;对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net