跳到正文

算法、任务与模态

Knowledge Distillation 最新动态

Knowledge Distillation 研究索引;按可核对的标签归档,不以热度评价质量。

202 条精选近 30 天 78 条共收录 240 条

更新

精选归档 · 第 11 页

1月1日周六第 201–202 条
  1. OpenReview · State space models71

    ASCM:无需答案工程的答案空间聚类提示方法

    基于摘要分析。本文研究少样本文本分类与自然语言推断(NLI)中的提示学习:同一类别可对应多种答案 token,而手工答案设计或自动答案搜索可能限制可用答案空间。作者提出 answer space clustered prompting model(ASCM),结合 synonym initialization(SI,同义词初始化),在语义聚类的嵌入空间中自动对答案 token 进行类别归属,并引入半监督方法 stair learning(SL)传递模型知识。 核心机制是将答案 token 与类别的对应关系置于语义聚类空间中处理,减少对人工指定答案的依赖;SL 则按次序将较强模型的知识蒸馏给较弱模型。摘要未说明聚类算法、嵌入更新方式、损失函数、模型强弱判定标准或蒸馏顺序,具体实现尚未验证。其依赖预训练语言模型、文本提示及答案 token 的语义结构,主要研究对象并非神经信号解码。 作者报告,ASCM+SL 在少样本设置下显著优于既有最先进技术,但摘要未提供数据集、样本数量、数据划分、指标、基线名称或数值。实验协议、消融及统计信息尚未验证,因此不能据此量化提升幅度,也不能区分 ASCM、SI 与 SL 各自的贡献。 平台推测(待验证):若 EEG 解码系统已通过语言模型输出文本答案,语义聚类的答案映射可能帮助处理同一意图的多种语言表达;这是有条件的迁移假设,不适用于直接将 EEG 类别视为语言 token。可复用候选是答案聚类与知识蒸馏模块,需改造神经信号到语言表示的接口,并验证答案语义与解码类别是否一致。低信噪比、跨被试及通道差异可能造成表征失配,小数据下蒸馏也可能放大教师错误。一个可检验的小实验是在已有 EEG—文本解码系统中,固定编码器、数据划分及训练样本,对比固定答案映射与语义聚类映射,并单独检验 SL 的增益。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得核对 ASCM 如何通过语义聚类扩大提示学习的答案空间,以及 stair learning 如何稳定传递模型知识;摘要未提供定量结果,其少样本优势及对 EEG 的适用性尚未验证。

1月1日周二
  1. OpenReview · Representation learning70

    通过多任务知识蒸馏进行图表示学习

    基于摘要分析。本文研究标签稀缺条件下的图级表示学习,提出多任务知识蒸馏方法,将基于网络理论的图指标作为辅助任务,把设计人工图特征所依赖的领域知识引入表示学习,以改善原始图级预测任务。 核心机制是利用图结构中可计算的指标提供额外监督,而非仅依靠目标任务标签。其研究动机并非完全替代人工特征,而是在领域知识可用时,将这些知识用于辅助学习连续图表示。摘要未说明具体图指标、模型架构、蒸馏目标、损失组合及辅助任务构造方式,尚不能判断其与常规多任务学习的具体区别。 作者报告,在合成数据集和真实数据集上,该方法能够改善原始任务的预测表现,尤其在训练数据规模较小时。摘要未提供数据集名称、样本量、划分方式、对照基线或数值指标,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将 EEG 片段表示为通道连接图,该机制可能对应图级解码中标签有限的问题;可考虑复用以图指标为辅助目标的多任务训练思路,但图构建方式、指标选择及目标任务均需重新适配。假设是辅助指标能提供与解码目标相关且较稳定的结构监督;低信噪比可能使连接估计及指标不稳定,被试差异和通道配置变化也可能导致辅助监督失配,小数据下则可能出现负迁移。一个可证伪的小实验是在固定 EEG 图构建和跨被试划分下,对比相同骨干模型仅训练目标任务与加入图指标辅助任务的表现,并在相同标签预算下检验收益是否稳定。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

    阅读价值:值得关注其将网络理论图指标作为辅助监督、在标签稀缺条件下改进图级表示学习的思路,但其对 EEG 图建模的价值尚未验证。