基于空间相似性的简单无监督知识蒸馏

该研究针对自监督学习难以直接适用于小型网络的问题，提出无监督知识蒸馏目标 space similarity，引导学生模型拟合教师模型的嵌入流形，而非仅保留人工选定的样本间或样本内关系。基于摘要分析，未取得论文全文。 核心机制：作者认为，已有方法仅依赖 L2 归一化的嵌入特征，会丢失重建教师潜在流形所需的信息。提出的 space similarity 损失鼓励学生特征空间的各维度与教师对应维度相似，以补偿归一化造成的信息损失。作者主张，若嵌入流形相似，样本间及样本内关系也能被间接保留；这一主张的适用条件和论证范围需核对正文。摘要未给出损失公式、维度对齐方式或完整训练流程。 证据范围：作者报告在多个基准上取得较强表现，但摘要未列出任务、数据集、教师与学生架构、对照方法或指标数值，因此不能据此判断改进幅度及适用边界。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，在无标签 EEG 小模型蒸馏中，特征幅值或尺度可能包含被归一化抹去的有用信息，可复用逐维空间匹配思路，但需改造 EEG 编码器接口与教师—学生维度对齐模块。该机制依赖教师嵌入及对应维度的可比性；低信噪比、被试差异、通道尺度变化可能使未归一化信息更多反映伪迹或采集条件，小数据也可能增加过拟合风险。可在固定教师、学生及数据划分下，对比基础蒸馏目标与加入 space similarity 后的 Cross-subject 下游表现，并检查通道缩放扰动下的稳定性。此为可检验假设，不是论文已验证的 EEG 结果；已有 EEG 相关工作尚未检索确认。