跳到正文

算法、任务与模态

Knowledge Distillation 最新动态

Knowledge Distillation 研究索引；按可核对的标签归档，不以热度评价质量。

228 条精选近 30 天 80 条共收录 275 条

更新

精选归档 · 第 10 页

1月1日周一第 181–200 条
  1. OpenReview · Representation learning70

    通过相似度敏感对比学习增强脉冲神经网络的表征

    基于摘要分析。本文研究脉冲神经网络（SNN）的二值脉冲表征相较于常规人工神经网络（ANN）可能损失表达能力的问题，提出相似度敏感对比学习框架，通过逐层互信息最大化，使 SNN 从对应 ANN 中获取更丰富的特征信息。这里的 MI 指 Mutual Information（互信息），并非运动想象。 核心机制是构造跨 ANN 与 SNN 的特征配对：拉近同一输入样本在两类网络对应层中的正样本对，推远不同输入样本形成的负样本对，并引入逐层的相似度敏感性。摘要未说明相似度敏感性的具体定义、互信息估计方式、损失公式、层间对应关系，以及 ANN 是否固定或联合训练。 作者报告，该方法在常用非脉冲静态数据集与神经形态数据集上均优于其比较的现有先进算法；摘要未列出数据集名称、评估指标、数值、划分或基线，因此无法判断增益幅度与适用边界。二值脉冲带来的计算节能是研究动机，不能据此认定本文已验证实际硬件能耗优势。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 分类中的 SNN 同样存在表征压缩瓶颈，可尝试复用 ANN–SNN 的逐层对比约束；需要改造 EEG 输入编码与层间特征对齐，并核对负样本是否把同类别或相近脑状态错误推远。该机制依赖可配对输入、可对应的中间表征及有信息量的 ANN 教师，小数据、低信噪比和跨被试差异可能使教师偏差随之传递。一个可证伪的小实验是在固定跨被试划分下，比较同一 SNN 有无该约束的分类表现，并仅用训练被试训练 ANN，以检验跨被试收益是否存在。以上并非论文已验证的 EEG 结果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其逐层相似度敏感对比学习如何将 ANN 表征迁移至 SNN，以及增益是否依赖教师质量；摘要未提供定量结果，EEG/BCI 适用性尚未验证。

  2. OpenReview · State space models75

    VideoMamba：用于高效视频理解的状态空间模型

    基于摘要分析。该研究针对视频理解中的局部冗余与全局依赖问题，将 Mamba 引入视频领域，提出 VideoMamba，以线性复杂度算子支持高分辨率长视频建模。主要研究对象是视频理解，而非 EEG 或 BCI。 机制与贡献：摘要强调线性复杂度的长期建模能力，以及用于提升视觉领域模型可扩展性的自蒸馏技术。作者报告，该技术使模型无需大规模数据集预训练即可扩展；同时报告了对细粒度运动差异的短期动作识别能力、相较传统基于特征模型的长期视频理解优势，以及与其他模态结合的能力。摘要未提供具体数据集、模型规模、评估指标、数值或对照设置，因此这些结论的适用范围和提升幅度尚未验证，不能据此认定其全面优于 3D 卷积网络或视频 Transformer。 复现条件：作者表示代码与模型已公开，但具体版本、训练配置、计算开销、自蒸馏流程及权重使用条件尚未核对。视频输入如何组织为序列、模型对时空关系的处理方式，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若线性复杂度序列算子能保留 EEG 中短暂事件与长程上下文，它可能对应长时间窗建模的计算瓶颈；可考虑复用 Mamba 序列模块，而输入编码、通道组织和自蒸馏目标需要适配。原研究依赖视频的时空结构，具体监督形式与训练规模尚未验证；EEG 的低信噪比、跨被试差异、通道变化和小数据条件可能使迁移失效。一个可检验的小实验是在同一 EEG 任务、固定划分和相近模型规模下，对比 Mamba 序列模块与 Transformer，分别核对短、长时间窗的任务表现及显存、推理耗时，不混合被试内与跨被试结果。已有相关 EEG 工作尚未检索确认。

    阅读价值：值得核对 VideoMamba 如何利用线性复杂度的 Mamba 算子和自蒸馏兼顾短期动作识别与长期视频建模；其对 EEG 长序列建模的适用性尚未验证。

  3. OpenReview · State space models72

    基于空间相似性的简单无监督知识蒸馏

    该研究针对自监督学习难以直接适用于小型网络的问题，提出无监督知识蒸馏目标 space similarity，引导学生模型拟合教师模型的嵌入流形，而非仅保留人工选定的样本间或样本内关系。基于摘要分析，未取得论文全文。 核心机制：作者认为，已有方法仅依赖 L2 归一化的嵌入特征，会丢失重建教师潜在流形所需的信息。提出的 space similarity 损失鼓励学生特征空间的各维度与教师对应维度相似，以补偿归一化造成的信息损失。作者主张，若嵌入流形相似，样本间及样本内关系也能被间接保留；这一主张的适用条件和论证范围需核对正文。摘要未给出损失公式、维度对齐方式或完整训练流程。 证据范围：作者报告在多个基准上取得较强表现，但摘要未列出任务、数据集、教师与学生架构、对照方法或指标数值，因此不能据此判断改进幅度及适用边界。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，在无标签 EEG 小模型蒸馏中，特征幅值或尺度可能包含被归一化抹去的有用信息，可复用逐维空间匹配思路，但需改造 EEG 编码器接口与教师—学生维度对齐模块。该机制依赖教师嵌入及对应维度的可比性；低信噪比、被试差异、通道尺度变化可能使未归一化信息更多反映伪迹或采集条件，小数据也可能增加过拟合风险。可在固定教师、学生及数据划分下，对比基础蒸馏目标与加入 space similarity 后的 Cross-subject 下游表现，并检查通道缩放扰动下的稳定性。此为可检验假设，不是论文已验证的 EEG 结果；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 space similarity 如何补偿 L2 归一化丢失的嵌入信息及其对小模型蒸馏的贡献，但具体收益和向 EEG 迁移的有效性尚未验证。

  4. OpenReview · Representation learning74

    用于分子表征学习的联邦异构对比蒸馏

    该研究面向分子联邦学习中公共数据集难以获取、客户端模态与任务异构的问题，提出 Federated Heterogeneous Contrastive Distillation（FedHCD），旨在联合训练具有不同数据模态、学习任务和分子模型的客户端全局模型。基于摘要分析，尚未取得论文全文。 方法包含两项核心机制：一是全局多模态对比策略，在不使用公共数据集的条件下对齐客户端表征；二是多视图对比知识迁移，从原子、子结构和分子层面提取特征，以处理不同模态维度偏差导致的知识蒸馏失效。作者还提出利用不同模态分子数据的内在特征，缓解多模态客户端加剧的局部模型漂移与非独立同分布问题。具体表征构造、对比损失、客户端交互信息及隐私保障机制尚未验证；“不依赖公共数据集”不应被理解为无需客户端训练数据。 作者报告，在八个真实世界分子数据集及消融实验中，FedHCD 优于所比较的先进联邦学习方法，比较范围包括使用和不使用公共数据集的方法。摘要未列出数据集名称、任务划分、评价指标、提升幅度或统计信息，因此无法据此判断优势的大小与稳定性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其无需公共数据的异构表征对齐思路，可能对应多中心 EEG 联邦学习中的设备、通道与模型异构问题，但这是迁移假设。全局对齐机制可能可复用，原子—子结构—分子的视图设计则依赖分子结构，不能直接对应 EEG，需重新定义时间、频段或通道视图。低信噪比、跨被试差异和小样本可能使对齐抹去任务相关信息。一个可证伪的小实验是在固定跨被试划分与通信预算下，对比启用和关闭异构对齐的联邦模型，并检验通道不一致时是否仍有收益。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 FedHCD 如何在不依赖公共数据集的条件下对齐异构客户端表征，以及多视图知识迁移如何缓解模态间维度偏差；摘要所述优势限于分子学习实验，不能视为 EEG 或 BCI 有效性证据。

  5. OpenReview · EEG73

    DGSD：用于基于 EEG 的听觉空间注意检测的动态图自蒸馏

    基于摘要分析。研究针对多说话者环境中利用 EEG 判断目标说话者的 Auditory Attention Detection（AAD），提出动态图自蒸馏方法 DGSD，不需要将语音刺激作为模型输入。其核心贡献是结合动态图卷积与自蒸馏，建模 EEG 的图结构并提取听觉空间注意相关特征。 机制方面，作者认为主要面向图像等欧氏数据设计的传统卷积神经网络难以充分处理 EEG 的非欧氏特性，因此采用动态图卷积网络表示 EEG 的图结构。自蒸馏包含特征蒸馏和逐层的层级蒸馏，通过最深层的特征与分类结果指导浅层学习。摘要未说明图节点与边的定义、图结构如何动态更新、蒸馏损失及权重，也未提供具体网络结构，这些实现细节尚未验证。 结果方面，作者报告在两个公开数据集 KUL 和 DTU 上，使用 1 秒时间窗分别获得 90.0% 和 79.6% 的 Accuracy。摘要未交代这些结果属于被试内还是跨被试评估，也未说明训练、验证与测试划分，因此不能据此判断跨被试泛化能力。作者还报告 DGSD 优于其比较范围内最佳的可复现基线，且可训练参数量约减少 100 倍；基线身份、对应分数、参数绝对数量及统计依据尚未验证，参数减少也不能直接等同于推理延迟降低。 复现时应重点核对图构建与更新规则、深浅层蒸馏路径、EEG 预处理、时间窗采样和数据划分，以及基线复现条件。动态图建模和两类蒸馏各自的贡献，需要结合全文中的消融及统计信息确认。当前证据支持将其作为短窗 EEG 听觉空间注意检测的方法候选，不足以确认其跨被试、跨会话或实时部署效果。

    阅读价值：值得核对动态 EEG 图建模与深层指导浅层的自蒸馏是否能在短时间窗内兼顾检测性能和参数效率，但摘要结果的适用范围仍需结合数据划分及基线复现条件确认。

  6. OpenReview · State space models70

    用于医学图像生成的 Leapfrog Latent Consistency Model（LLCM）

    基于摘要分析。该研究针对医学图像因隐私与共享限制而难以获取的问题，汇集 MedImgs 数据集，并提出 Leapfrog Latent Consistency Model（LLCM），通过蒸馏在该数据集上重新训练的扩散模型，实现快速医学图像生成。主要研究对象是人类及动物的医学图像，而非 EEG 信号或 BCI 解码。 在方法上，作者将反向扩散过程表述为概率流常微分方程（PF-ODE），在潜在空间中使用 Leapfrog 算法求解，并称该设计无需额外迭代即可快速采样。摘要尚未提供蒸馏目标、Leapfrog 更新公式、采样步数、潜在表示方式及运行硬件，因此实时高分辨率生成的具体条件尚未验证。 数据方面，作者报告 MedImgs 汇集自开放来源，包含超过 250,127 张图像，覆盖人类和动物的 61 种疾病、159 个类别。摘要未交代数据去重、训练与测试划分、各类别分布或使用许可细节，这些信息需在全文及数据说明中核对。 结果方面，作者报告模型在医学图像生成上达到领先表现，并在未见犬心脏 X-ray 图像的实验中优于现有模型；但摘要未列出比较模型、指标、数值或“未见”的具体划分条件，无法据此判断泛化范围。作者还称模型可在自定义医学图像数据上微调，并提供了代码地址；代码可运行性、数据可获取性、实验协议、消融及统计信息尚未验证。当前材料未建立该图像生成机制与 EEG／BCI 任务的具体对应关系，不宜将其结果解读为 BCI 有效性证据。

    阅读价值：值得核对其将 Leapfrog 求解与潜在一致性蒸馏结合以加速医学图像生成的具体实现，以及在未见犬心脏 X-ray 图像上的评估协议；摘要中的领先性能与实时生成主张尚待全文验证。

  7. OpenReview · EEG74

    使用集成课程学习与协同训练的运动想象解码

    基于摘要分析。本文研究多被试 EEG 中个体差异引起的域偏移及其对跨被试运动想象（MI）解码的影响，提出结合课程学习与协同训练的模型集成方法，旨在提高对未见被试的泛化能力。 核心机制是由多个特征提取器构成第一阶段、共享分类器构成第二阶段的两阶段架构，并通过两个新损失项端到端训练。“两阶段”指架构组成，不代表先后进行的两步训练流程。课程学习损失促使各特征提取器专门处理训练被试的不同子集，以促进特征多样性；集成内部蒸馏损失则支持集成模型之间的知识交换。其方法价值在于同时利用模型间的差异化与协作，而非仅增加集成规模。具体损失形式、被试子集分配规则、课程安排及蒸馏实现尚未验证。 作者报告，在 PhysioNet 和 OpenBMI 两个 MI 数据集上开展被试独立实验，并在 5-fold cross-validation 与 leave-one-subject-out 两种评估设置下优于所比较的全部方法，同时使用显著更少的可训练参数。摘要未提供具体指标、分数、参数量和对照方法名称，因此不能量化优势或直接比较两种协议的结果；尤其需核对五折划分如何保证被试独立，以及数据预处理、模型选择与测试被试隔离方式。 作者将该方法定位为缓解多被试 EEG 域偏移、推动免校准 BCI 的研究。跨被试评估结果不等同于已验证实际使用中的免校准能力，跨会话、在线运行及不同采集条件下的表现尚未验证。摘要提供了公开代码地址，可作为复现入口；代码完整性、运行环境、实验协议、消融及统计信息仍需结合全文与实现核对。

    阅读价值：值得核对其通过特征提取器专门化与集成内部蒸馏改善跨被试 MI 解码的机制，以及较少可训练参数下的性能优势；这些优势目前仅有摘要中的作者报告，需结合全文实验协议验证。

  8. OpenReview · Representation learning71

    面向域泛化的基于知识蒸馏的域不变表征学习

    该研究针对多源域训练后向未见目标域泛化的问题，提出 Knowledge Distillation based Domain-invariant Representation Learning（KDDRL），通过两阶段知识蒸馏学习域不变表征，同时保留域特异特征。基于摘要分析，未取得论文全文。 方法包含多个辅助学生模型和一个学生领导模型。第一阶段，每个域特异辅助学生以其他辅助学生的集成预测为蒸馏目标，旨在挖掘域不变表征；错误移除模块将预测与真实标签比较，剔除错误预测，以减少错误信息传递。第二阶段，保留域特异特征的学生领导模型结合辅助学生群体学到的域不变表征，完成最终预测。其核心思路并非单纯强化跨域对齐，而是协调可共享表征与域特异信息。 作者报告，KDDRL 在常用域泛化基准上优于当时的先进方法，但摘要未给出数据集名称、具体指标、数值、域划分或对照配置，无法据此判断提升幅度与适用边界。损失形式、集成方式、错误过滤粒度、训练与推理成本，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设将被试或会话作为源域，这种多学生蒸馏机制可能用于探索 EEG 跨被试或跨会话泛化。原方法依赖多源域结构和训练标签；可复用的是跨源域集成蒸馏及错误过滤思路，需改造 EEG 特征编码器并明确各学生的数据访问范围。低信噪比、小样本和跨被试标签相关特征差异可能使多个学生产生一致错误，通道不一致也会妨碍表征共享。一个可检验的小实验是在同一 EEG 数据集上采用留一被试测试、仅以源被试标签训练，对比普通多源训练、完整 KDDRL 与移除错误过滤模块的版本，保持编码器及调参规则一致，检验收益是否稳定。已有 EEG 相关工作尚未检索确认，原领域结果不构成 BCI 有效性的证据。

    阅读价值：值得关注其通过两阶段知识蒸馏兼顾域不变表征与域特异特征的机制，以及利用真实标签过滤错误蒸馏信息的设计；其对 EEG 跨被试域泛化的价值尚未验证。

  9. OpenReview · State space models77

    TaxaBind：面向生态应用的统一嵌入空间

    基于摘要分析。TaxaBind 研究如何在统一嵌入空间中表征物种，将物种地面图像、地理位置、卫星图像、文本、音频和环境特征六种模态关联起来，服务于生态任务；主要贡献包括跨模态绑定机制、multimodal patching 技术以及预训练和评估数据资源。 方法以物种地面图像作为绑定模态，通过 multimodal patching 将其他模态的知识蒸馏到该模态中。摘要未提供编码器结构、具体损失形式、模态配对要求或训练流程，这些细节尚未验证。研究对象是生态多模态表征，不能由来源栏目推断其采用了 State space models，也不能将其视为已验证的 BCI 方法。 数据方面，作者构建了用于预训练的 iSatNat（物种图像与卫星图像）和 iSoundNat（物种图像与音频），并提出包含六种配对模态的 TaxaBench-8k，用于生态任务评估。作者报告，在所开展的物种分类、cross-model retrieval 和音频分类实验中，TaxaBind 展现了较强的零样本与涌现能力；摘要未提供指标数值、数据划分和对照基线，不能据此量化优势。实验协议、消融及统计信息尚未验证。作者表示数据集与模型已公开，具体资源内容及复现条件仍需核对。 平台推测（待验证）：可检验的迁移假设是，将一种共享模态作为绑定接口，可能有助于连接 EEG 与刺激图像、音频或文本表征。但生态物种关联不等同于神经响应对应关系，需明确刺激—EEG 配对监督，并改造 EEG 编码器、时间对齐和被试适配模块；低信噪比、跨被试差异、通道变化及小数据可能使模型仅学习刺激身份，而非可泛化的神经信息。若具备同一刺激对应多被试 EEG 的数据，可先比较共享刺激模态绑定与直接双模态对齐在固定 Cross-subject 划分下的检索表现，以检验绑定机制是否带来收益。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是以物种地面图像绑定六种生态模态的联合嵌入机制及配套数据资源，但其对 EEG/BCI 的适用性尚未验证。

  10. OpenReview · State space models76

    DASS：经蒸馏的音频状态空间模型是更强且更具时长可扩展性的学习模型

    基于摘要分析。本文研究音频状态空间模型（SSMs）在短音频标注中落后于 Transformer、以及长音频实际性能尚未充分评估的问题。作者通过知识蒸馏训练 Knowledge Distilled Audio SSM（DASS），并提出 Audio Needle In A Haystack（Audio NIAH）测试，分别检验音频标注性能与长录音中的声音事件检索能力；主要研究对象是音频，而非 EEG 或 BCI。 机制与对照：研究利用 SSM 处理长输入的计算效率，并以知识蒸馏增强其音频建模能力。摘要将 Audio Spectrogram Transformer（AST）作为 Transformer 对照，但未说明蒸馏教师、监督信号、损失形式、输入表征及具体模型结构，这些实现细节尚未验证。 作者报告，DASS 在 AudioSet 上达到 mAP 47.6，并优于所比较的 Transformer 模型；具体数据划分、对照配置及统计信息尚未验证。作者另报告，仅用 10 秒音频片段训练的 DASS，能够在最长 2.5 小时的录音中检索声音事件，而 AST 在输入仅为 50 秒时即失败。该结果属于 Audio NIAH 测试，不能与 AudioSet 标注指标直接比较；事件插入方式、检索成功标准及长输入适配条件需查阅正文核对。 平台推测（待验证）：若将短片段训练后的长序列事件检索作为 EEG 研究问题，可考察 SSM 与蒸馏是否缓解长时记录的计算负担。可复用的是序列建模与蒸馏思路；音频输入表征、教师和任务监督需改造为适合多通道 EEG 的形式。低信噪比、跨被试差异、通道变化及小数据下教师误差可能使迁移失败。一个可证伪的小实验是：固定被试划分与短片段训练条件，在带事件标注的 EEG 测试记录中逐步增加背景长度，对比蒸馏 SSM、未蒸馏 SSM 与 Transformer 的事件检索性能及计算开销。此方案不是本文已验证结果，相关 EEG 工作尚未检索确认。完整实验协议、消融及复现条件仍需正文核验。

    阅读价值：值得阅读的是知识蒸馏增强 Audio SSM 与 Audio NIAH 长时音频检索测试的结合，可用于考察短片段训练后的时长扩展能力，但其 EEG/BCI 适用性尚未验证。

  11. OpenReview · State space models74

    Bi-Mamba：面向高精度的 1-bit 状态空间模型

    基于摘要分析。该研究面向大语言模型的训练与部署成本，提出 1-bit Mamba 架构 Bi-Mamba，探索在低比特表示下保留选择性状态空间模型（SSM）的语言建模能力。其主要对象是语言模型，而非 EEG 或 BCI。 机制与训练：Mamba 使用选择性 SSM，旨在缓解 Transformer 随序列长度增长的二次计算复杂度及推理时 key-value cache 的内存开销。Bi-Mamba 进一步引入 1-bit 表示，提供 780M、1.3B 和 2.7B 三种模型规模，并使用自回归蒸馏损失从头训练；摘要称训练数据量与常规 LLM 预训练相当。具体二值化对象、保留高精度的模块、蒸馏教师及损失形式尚未验证，不能将“1-bit”理解为所有计算与状态均采用二值表示。 结果与对照：在摘要所述语言建模实验中，作者报告 Bi-Mamba 的性能可与 FP16 或 BF16 全精度对应模型相当，并优于训练后二值化（PTB）Mamba 基线；作者还报告相较原始 Mamba 显著降低内存占用与能耗。摘要未提供数据集、具体指标及收益数值，实验协议、消融及统计信息尚未验证，硬件支持与端到端效率亦需查阅正文。 平台推测（待验证）：可检验的迁移假设是，将低比特训练与蒸馏用于 Mamba 类 EEG 序列模型，以缓解长时间窗建模及端侧存储压力。可复用的是低比特训练思路；输入编码、任务输出及教师监督需适配多通道连续信号，语言预训练的数据规模优势也不能直接迁移。低信噪比、跨被试差异、通道配置变化与小数据训练可能放大量化误差。一个小实验是在固定 EEG 任务和严格跨被试划分下，对照全精度、PTB 与从头低比特蒸馏训练，使用相同骨干和数据预算，同时测量任务指标、内存及同一硬件上的延迟或能耗。已有 EEG 相关工作尚未检索确认，该实验仅用于验证迁移假设。

    阅读价值：值得核对 Bi-Mamba 从头训练与自回归蒸馏如何缓解 Mamba 二值化后的性能损失，但摘要中的效率收益尚需结合量化范围、硬件及测量协议验证，不能直接视为 EEG 部署收益。

  12. OpenReview · Representation learning72

    通过 Dual Denoising 从 CLIP 学习鲁棒的 3D 表征

    基于摘要分析。本文研究如何从预训练视觉语言模型 CLIP 学习鲁棒且泛化良好的 3D 表征，提出 Dual Denoising，将去噪代理任务与特征去噪网络用于 3D 预训练，并通过 parallel noise inference 改善跨域点云特征的泛化。 研究针对的原始问题是：跨模态蒸馏能够向 3D 网络传递知识，但所得网络仍易受对抗攻击，尤其是迭代攻击。其方法同时涉及代理任务与特征层面的去噪，并在推理阶段引入并行噪声处理。摘要未说明噪声分布、代理任务目标、特征去噪结构、损失函数，以及 CLIP 知识与点云特征的具体对齐方式。 作者报告，在零样本设置且不进行对抗训练的前提下，该方法能够改善 3D 网络的表征学习表现与对抗鲁棒性。摘要未提供数据集、划分、攻击类型及强度、对照基线或具体指标，因此无法量化收益，也无法判断不同跨域条件下的稳定性；实验协议、消融及统计信息尚未验证。摘要提供了代码仓库地址，但实现与复现条件尚未核验。 平台推测（待验证）：任务与特征层面的去噪可能为 EEG 噪声鲁棒表征提供方法线索，但原研究依赖 CLIP 的视觉语言知识与 3D 点云结构，并非 EEG 验证。迁移假设需重新定义 EEG 时序输入、噪声模型与教师监督，不能直接沿用点云处理模块；低信噪比下可能误删任务相关成分，小数据和跨被试分布差异也可能削弱收益。可在固定的 Cross-subject 划分下，以同一 EEG 编码器比较无去噪、单项去噪和双重去噪，分别检查干净信号与预先定义扰动下的表现，以检验去噪是否改善鲁棒性而不损害有效信息。相关 EEG 工作尚未检索确认。

    阅读价值：值得关注其以去噪代理任务、特征去噪和 parallel noise inference 改善 CLIP 到 3D 的知识迁移及对抗鲁棒性的机制，但具体收益与适用边界仍需核对全文，尚无材料支持其 EEG/BCI 有效性。

  13. OpenReview · Representation learning70

    结合自蒸馏的深度对比表征学习

    基于摘要分析。该研究针对时间序列对比学习主要关注高层语义相似性、较少利用低层语义信息的问题，提出 DCRLS（Deep Contrastive Representation Learning With Self-Distillation），将数据增强、深度对比学习与自蒸馏结合，用于时间序列分类和聚类。 其核心机制包括：通过数据增强为同一样本生成不同视图；除高层语义外，在对应的残差块之间考虑低层语义的对比相似性；利用自蒸馏促进知识从高层块流向低层块，在知识迁移过程中形成正则化。相较于摘要所述主要约束高层表征的对比学习方法，DCRLS 的研究重点是多层表征约束与跨层知识传递的协同，而非仅使用最终表征构建对比目标。具体增强方式、对比损失、蒸馏目标及损失权重尚未验证。 作者报告，基于 DCRLS 的结构在 36 个 UCR2018 数据集的分类和聚类任务上取得优秀表现；摘要未提供具体指标、分数、数据划分或对照方法，因此无法判断增益幅度，也不能与其他协议下的结果直接比较。实验协议、消融及统计信息尚未验证；复现还需核对网络结构、增强参数和训练配置。 平台推测（待验证）：其多层时间序列表征约束可能对应 EEG 中局部波形特征与较高层任务表征协同学习的需求，但原研究对象是通用时间序列，并非已验证的 EEG 或 BCI 方法。可考虑复用分层对比与自蒸馏机制，需针对多通道 EEG 调整输入结构、增强方式及任务读出；低信噪比可能使低层约束强化伪迹，被试和通道差异可能破坏表征对应关系，小数据也可能使多重约束难以稳定优化。一个可检验的小实验是在固定跨被试划分下，对比仅高层对比、加入低层对比、再加入自蒸馏三种设置，并保持骨干网络、增强和训练预算一致，以检验各机制是否带来可重复收益。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其同层残差块间的低层对比约束与高层向低层自蒸馏如何协同改善时间序列表征，但具体增益及其对 EEG 的适用性尚未验证。

  14. OpenReview · State space models75

    VideoMamba：用于高效视频理解的状态空间模型

    基于摘要分析。该研究针对视频理解中的局部冗余与全局依赖，将 Mamba 适配到视频领域，提出 VideoMamba，旨在兼顾短期动作辨别与高分辨率长视频的高效建模。其主要研究对象是视频理解，而非 EEG 或 BCI。 机制方面，摘要将长期建模效率归因于线性复杂度算子，并提出以自蒸馏支持视觉领域的模型扩展，减少对大规模数据集预训练的依赖。视频如何组织为序列、时空信息如何编码、自蒸馏的教师与学生设置及训练目标均尚未验证；线性复杂度也不能直接等同于特定硬件上的速度或显存优势。 作者报告，评估显示模型具备四方面能力：无需广泛数据集预训练的可扩展性、对细粒度运动差异的短期动作识别能力、相较传统特征式模型的长期视频理解优势，以及与其他模态兼容的能力。摘要未提供数据集、划分、对照配置、指标或数值，无法量化其优势，也不能确认这些结论的适用范围；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若该线性复杂度序列机制能够保留 EEG 中与任务相关的长期依赖，可能用于缓解长时间窗建模的计算开销。可考虑复用状态空间序列模块，但需改造视频输入编码与时空组织方式，以适配多通道 EEG；其监督需求、预训练规模及自蒸馏在小数据条件下的作用仍待核对。低信噪比、跨被试分布差异和通道配置变化可能削弱迁移效果。一个可检验的小实验是在固定 EEG 数据、被试内划分和训练预算下，对比该模块与 Transformer 随输入时间窗增长的分类 Accuracy、显存占用及推理耗时，再检验跨被试表现，避免把计算效率与识别效果混为一谈。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是 VideoMamba 以线性复杂度算子处理视频长期依赖，并通过自蒸馏支持视觉模型扩展的机制；其效率优势及向 EEG 长序列建模迁移的可行性仍需核对全文与实验。

  15. OpenReview · Representation learning72

    利用抽象代码语义增强面向代码搜索的代码表征学习

    基于摘要分析。本文研究源代码预训练中如何保留代码单元及其逻辑语义，提出自监督方法 Abstract Code Embedding（AbCE），以支持自然语言代码搜索，并评估其在代码克隆检测和缺陷检测任务上的表现。 核心机制是改变预训练的基本处理单元：不同于将源代码或 Abstract Syntax Tree（AST）结构信息视为普通 token 序列，AbCE 将完整 AST 节点或子树作为基本代码单元，以保留代码单元的完整性；同时通过自蒸馏学习 AST 节点的抽象语义。摘要未说明自蒸馏的教师与学生构造、监督目标、损失形式及具体训练流程，这些实现条件尚未验证。 作者报告，在所评估的代码搜索任务中，AbCE 相对作者称为当前先进方法的基线取得显著提升；在代码克隆检测和缺陷检测任务中取得可比表现，且未使用对比学习或课程学习。摘要未提供数据集、划分协议、指标、具体数值及统计检验信息，因此暂不能判断提升幅度、稳定性或不同任务结果的可比性；实验协议、消融及统计信息尚未验证。 本文的主要对象是具有明确语法树结构的程序代码，而非 EEG 或 BCI 信号。其机制依赖 AST 提供离散、可组合的语义单元，当前材料未建立这些单元与神经信号结构之间的具体对应关系，因此不据此推断 EEG/BCI 效果，也不提出迁移复现实验。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其以完整 AST 节点或子树为预训练单元、结合自蒸馏学习抽象代码语义的机制，但性能优势及其对结构化输入的依赖仍需结合全文验证。

  16. OpenReview · Representation learning73

    通过蒸馏式解耦重新思考多视图表示学习

    基于摘要分析。本文研究多视图表示学习中视图一致表示与视图特有表示之间的信息冗余，提出以 distilled disentangling 为核心的框架，目标是在保留共享信息与互补信息的同时减少两类表示的重叠。 方法包含两个关键环节：masked cross-view prediction 用于从不同数据源提取紧凑的视图一致表示；distilled disentangling 模块用于从多视图表示中过滤与一致性相关的信息，以获得更纯粹的视图特有表示。作者称前一环节不引入额外计算开销，但其比较对象、计算口径及具体实现尚未验证。摘要未说明损失形式、监督条件、视图构造方式或训练与推理流程。 作者报告，在其多视图评估中，提高掩码比例可改善视图一致表示质量；相对于视图特有表示，降低视图一致表示的维度可进一步改善组合表示质量。摘要未提供数据集、划分协议、评价指标、数值或基线，因此尚不能判断收益幅度及适用边界；实验协议、消融及统计信息尚未验证。材料提供了代码仓库，但实现与复现条件尚未核查。 平台推测（待验证）：若 EEG 数据可构造成样本对应的多视图，例如同一试次的不同通道组或不同特征表示，该机制可能用于分离跨视图共享信息与互补信息。此假设依赖视图间存在可预测的共同成分，且任务相关信息不被误当作冗余滤除；可借鉴两类表示的分离思路，但需适配 EEG 编码器、掩码单位与视图构造。低信噪比、通道缺失、跨被试差异及小数据可能使共享表示偏向伪迹，或使高掩码比例损失关键任务信息。可在固定 EEG 数据划分与编码器下，对照有无解耦模块，并分别改变掩码比例和两类表示维度，检验任务性能与表示冗余是否同步改善。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其通过 masked cross-view prediction 与 distilled disentangling 分离视图一致信息和视图特有信息的机制，以及掩码比例和表示维度分配对冗余的影响；其在 EEG 多视图学习中的价值尚未验证。

  17. OpenReview · EEG71

    SPARK：用于保护源域隐私的困倦检测高效黑盒域适应框架

    基于摘要分析。研究面向 EEG 驾驶员困倦检测中的跨被试适应，提出 SPARK 框架：在不访问源数据和源模型参数的条件下，仅利用黑盒源模型进行目标域适应，以降低对源域信息开放的依赖并提高训练效率。 问题设定为黑盒域适应（BBDA），属于无监督域适应（UDA）的更受限场景。与依赖带标签源数据或白盒源模型的适应方式不同，SPARK 将可访问的信息限定为黑盒源模型。其完整名称为 Self-distillation and Pseudo-labelling for Ensemble Deep Random Vector Functional Link (edRVFL)-based Black-box Knowledge Adaptation。 核心流程包括基于熵筛选高置信度样本，为这些样本赋予伪标签并训练学生 edRVFL 网络；随后通过集成学习生成细化标签，再执行集成自蒸馏，进一步训练学生网络。作者将鲁棒性提升归因于标签细化与自蒸馏，并认为 edRVFL 的特性有利于降低计算开销，适合小数据任务。摘要未提供熵阈值、标签细化规则、具体损失或网络配置，相关实现尚未验证。 作者报告，在两个公开驾驶员困倦数据集上，SPARK 相较强基线表现更优，同时显著减少训练时间。但摘要未给出数据集名称、被试数量、划分方式、评价指标、具体分数、基线名称或计时条件，因此不能量化收益，也不能确认具体跨被试协议下的可比性。 复现时需核对黑盒输出的形式与查询成本、目标域数据的使用方式、伪标签及自蒸馏的消融结果，以及训练时间的硬件和计算范围。源数据与参数不可访问是一项访问限制，不等同于形式化隐私保证；其隐私风险评估、实验协议、消融及统计信息尚未验证。摘要支持其作为 EEG 困倦检测适应方法的研究价值，但实际部署的可靠性仍需进一步核对。

    阅读价值：值得核对其仅凭黑盒源模型输出完成跨被试 EEG 困倦检测适应的机制，以及 edRVFL 在精度与训练时间之间的权衡；摘要中的隐私保护主张尚不能等同于经过验证的隐私保证。

  18. OpenReview · Representation learning73

    REAL：用于无样本回放类别增量学习的表征增强解析学习

    基于摘要分析。REAL 面向无样本回放类别增量学习（EFCIL）：在不能使用历史样本的条件下学习新增类别并缓解灾难性遗忘。其核心贡献是先增强特征提取器的表征，再采用解析学习（AL）进行类别增量更新，针对现有 AL 方法中冻结骨干对未见数据表征区分能力不足的问题。 方法包含双流基础预训练（DS-BPT）与表征增强蒸馏（RED）。DS-BPT 使用监督学习和自监督对比学习（SSCL）两条流提取基础知识；RED 将监督知识蒸馏到 SSCL 预训练骨干中，随后将类别增量学习转化为递归最小二乘问题。摘要未给出蒸馏目标、对比损失、骨干结构及递归更新的具体形式，这些实现条件尚未验证。 作者报告，在 CIFAR-100、ImageNet-100 和 ImageNet-1k 等数据集的 EFCIL 评估中，REAL 优于现有领先方法，并与采用历史样本回放的方法达到相当或更优的性能。摘要没有提供具体指标、基础类别与增量类别划分、增量阶段数量及对照配置，因此不能量化优势或直接比较不同协议。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其机制可能对应 EEG 中无法长期保存历史试次、但需持续增加任务类别的情境，而非一般的跨被试或跨会话分布变化。可考虑复用监督与自监督预训练、蒸馏及解析分类器更新，但需要按 EEG 时序和通道结构改造编码器、对比增强与监督目标。该路径依赖基础阶段有可用标签和足够的预训练数据；低信噪比、被试差异、通道变化及小数据可能使冻结表征无法区分新增类别。一个可检验的小实验是在固定通道的 EEG 运动想象数据上构造被试内类别增量划分，在不回放历史试次的条件下，对比基础 AL 与加入 DS-BPT、RED 的版本，分别评估旧类保持和新类识别。此为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 REAL 如何通过监督与自监督表征融合改善冻结骨干对新增类别的可分性，以及其无历史样本增量更新的适用条件；摘要中的性能主张和向 EEG 迁移的有效性尚需验证。

  19. OpenReview · Representation learning72

    面向事件数据学习的跨表示蒸馏动态图卷积网络

    基于摘要分析。本文研究事件视觉中的稀疏点式图表示学习，提出事件驱动 GCN（EDGCN）与 cross-representation distillation（CRD），分别针对图结构未充分整合顶点属性、可用强预训练模型不足的问题；主要研究对象是事件视觉，而非 EEG 或 BCI。 机制上，EDGCN 使用动态聚合模块，自适应整合顶点的语义、空间与时间属性，以改善事件图表示。CRD 将事件的稠密表示作为跨表示辅助，通过 frame-to-graph 蒸馏向事件图提供额外监督和先验知识，旨在利用 CNN 的大规模先验，同时保留图模型的优势。摘要未说明动态图构建规则、属性融合公式、蒸馏目标、教师模型来源，以及训练和推理阶段的具体配置。 作者报告，该模型与学习框架在多个视觉任务上有效且具有泛化能力；摘要未提供任务名称、数据集、划分协议、基线或定量指标，因此不能判断相对收益及适用边界。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可检验的迁移假设是，将稠密 EEG 时频表示作为教师侧输入，为稀疏通道—时间图提供蒸馏监督，可能缓解图表示监督不足的问题。可复用的是动态属性聚合与跨表示蒸馏思路；需重新定义 EEG 图顶点、空间邻接、时间属性及教师预训练数据。事件视觉的稀疏时空点结构与连续低信噪比 EEG 并不等价，跨被试差异、通道配置变化及小样本下教师误差都可能导致迁移失败。一个可证伪的小实验是在固定跨被试划分与训练数据预算下，对照静态图、动态聚合及加入 CRD 的版本，并核对教师数据与测试被试隔离情况。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其以动态属性聚合改善事件图表示、以 frame-to-graph 蒸馏引入 CNN 先验的机制，但具体收益与向 EEG 迁移的有效性尚未验证。

  20. OpenReview · Representation learning72

    用于事件学习的跨表示蒸馏动态 GCN

    基于摘要分析。该研究面向事件视觉学习，针对稀疏点式图表示未能充分整合顶点属性、且缺乏强预训练模型支持的问题，提出事件 GCN 模型 EDGCN 与跨表示蒸馏框架 cross-representation distillation（CRD）。其主要贡献是在保留图表示稀疏性与时间精度优势的同时，自适应聚合顶点属性，并利用事件的稠密表示提供额外监督与先验。 机制上，EDGCN 的动态聚合模块用于整合语义、空间和时间等属性，缓解固定或有偏图结构导致的表示不准确。CRD 则以事件的稠密表示作为跨表示辅助，通过 frame-to-graph 蒸馏，将 CNN 所承载的大规模先验传递给事件图模型。摘要未说明图构建规则、动态聚合的计算形式、教师模型、蒸馏目标及训练和推理开销。 作者报告，该模型及学习框架在多个视觉任务中有效且具有泛化能力；但摘要未提供任务名称、数据集、评估划分、对照基线或数值结果，不能据此量化相对帧式方法的差距与改进。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的机制假设是以稠密表示指导稀疏图学习，而非事件视觉结果可直接用于 BCI。若将 EEG 的通道—时间片段构造成图，可探索用时频表示教师指导图模型；但需重新定义节点、边、属性与跨表示对齐方式，并核对教师的预训练数据和监督来源。EEG 的低信噪比、跨被试差异、通道配置变化及小数据条件，都可能使动态关系不稳定或导致教师偏差传递。一个可证伪的小实验是在同一跨被试划分下，对照静态聚合、动态聚合及加入 CRD 的模型，使用相同训练数据并隔离测试被试，检验蒸馏是否带来稳定增益。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其以动态聚合缓解事件图表示偏差、以 frame-to-graph 蒸馏引入 CNN 先验的机制，但摘要不足以判断各模块的独立收益及其向 EEG 迁移的有效性。