RINO:无标签重整化群蒸馏
RINO: Renormalization Group Distillation with No Labels
基于摘要分析。该研究面向高能物理中的粒子喷注表征学习,针对带标签碰撞模拟与真实数据不一致所带来的迁移偏差,提出 RINO,以喷注形成过程的多尺度重整化群结构构造自监督学习视图,而非直接沿用图像或自然语言领域的视图设计。 方法通过不同层级的层次聚类定义跨能量尺度的教师与学生表征,再以 DINO-style 自蒸馏进行对齐。为模拟真实对撞机数据以背景事件为主的条件,预训练仅使用量子色动力学(QCD)过程产生的喷注,随后评估向稀有信号类别的分布外(OOD)迁移。 作者报告,在受控数据效率研究中,RINO 在 JetNet 上仅使用 1% 的标签数据微调即可达到完全监督训练的表现;使用全部标签数据时,top-quark jets 的 OOD 分类 Accuracy 提升 5.9%,但摘要未明确该项比较的基线。作者还报告,无需重新训练时,在未见过的 Higgs 衰变通道 H → 4q 上,AUC 相对最强 SSL 基线提升 4.1%。这些增幅均沿用摘要表述,其为相对百分比还是百分点尚未验证。作者的尺度结构诊断及消融分析将相对 SimCLR 等替代 SSL 范式的 8.6% OOD Accuracy 差距归因于 DINO-style 自蒸馏保留尺度相关结构的能力;该数值的增幅口径同样需核对全文。 摘要提供了代码地址,但具体数据划分、骨干结构、损失形式、基线配置、消融协议及统计信息尚未验证。 平台推测(待验证):可借鉴的是“以领域结构定义跨尺度视图并蒸馏”的机制,而非喷注重整化群本身。假设 EEG 的时间或频率尺度变化能保留任务信息,可复用教师—学生对齐框架,但需重新设计尺度视图;EEG 并无摘要所述喷注层次结构的直接对应,低信噪比、跨被试差异及小数据可能使视图破坏判别信息。一个可证伪的小实验是在固定骨干、无标签数据量和跨被试划分下,对比尺度视图与常规增强的自蒸馏,并检查尺度变化是否损害任务标签一致性。已有 EEG 相关工作尚未检索确认。
值得关注其以物理多尺度结构构造自监督视图、并在仅用 QCD 喷注预训练后检验稀有信号分布外迁移的设计,但其对 EEG 的适用性尚未验证。
来源:arXiv · 表征与预训练 · arxiv.org