跳到正文

算法、任务与模态

Few-shot 最新动态

Few-shot 研究索引;按可核对的标签归档,不以热度评价质量。

22 条精选近 30 天 11 条共收录 26 条

更新

精选归档 · 第 2 页

9月16日周六第 21–22 条
  1. OpenReview · Representation learning72

    作为自监督表征学习器的掩码扩散

    基于摘要分析。本文研究扩散模型的生成能力与表征学习能力之间的关系,提出 masked diffusion model(MDM),以掩码机制替代传统扩散中的加性高斯噪声,作为可扩展的自监督表征学习器。主要研究对象是医学图像与自然图像的语义分割,而非 EEG 或 BCI。 技术机制:传统去噪扩散概率模型通过加性高斯噪声构造扰动,MDM 改用掩码机制。作者据此探索生成能力与表征学习能力的关联,但摘要不足以确定掩码如何随扩散过程变化、具体预测目标、损失函数、网络结构,以及分割阶段如何使用所学表征。 结果与证据边界:作者报告,MDM 在医学图像和自然图像语义分割任务中优于既有基准,尤其在少样本场景下表现突出。摘要未提供数据集名称、少样本数量、划分协议、对照方法、指标或数值,因而无法核对优势幅度及公平比较条件。实验协议、消融及统计信息尚未验证;代码、模型权重与复现资源亦尚未验证。 平台推测(待验证):可检验的迁移假设是,将掩码式扰动用于 EEG 自监督预训练,可能有助于学习可用于少标注任务的表征。原方法面向图像像素级语义任务,其所需数据规模与监督配置尚不明确;迁移时可借鉴掩码扰动思路,但需改造信号编码、时间或通道掩码策略及下游预测头。EEG 的低信噪比、跨被试差异、通道配置变化和小数据规模,可能使模型主要学习噪声或被试特征。一个小规模可证伪实验是:在固定 EEG 编码器、预训练数据和少标注预算下,对比掩码式与加性高斯噪声式自监督预训练,并采用严格的 Cross-subject 划分评估同一下游任务。该建议不代表已有 EEG 效果,相关 EEG 工作尚未检索确认。

    阅读价值:值得阅读的具体原因是其以掩码机制替代传统扩散中的加性高斯噪声,探索扩散式自监督表征学习与生成能力的关系;作者报告的少样本分割优势及其对 EEG 的可迁移性仍需分别核验。

12月31日周六
  1. OpenReview · Representation learning72

    对比学习中的图像表征分区

    基于摘要分析。该研究针对图像对比学习中将 anchor 与 positive 表征拉近可能忽略数据增强所产生差异的问题,提出 partitioned representation,同时学习样本间的共同特征与各样本独有特征。其主要研究对象是图像表征学习,并非 EEG 或 BCI。 方法将表征划分为 content part 和 style part:前者表达类别的共同特征,后者表达各样本自身的特征,并可能表征数据增强方式。作者通过将对比学习损失分解为分别作用于两部分表征的两个项实现这一划分。摘要未提供损失公式、两部分的约束方式及具体训练流程,不能据此判断分区是否足以保证信息解耦。 评估使用 Variational AutoEncoder(VAE)与 Bootstrap Your Own Latent(BYOL)两个框架,分别考察 content/style 的可分离性与分类泛化能力。作者报告,在 VAE 框架下可以分离两类信息;在以 conventional BYOL 为对照的下游评估中,线性可分性与 few-shot learning 任务表现更好。摘要未给出数据集、划分、指标或提升数值;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 的配对增强既保留任务相关信息,又引入可识别的非任务变化,分区表征可能帮助缓解“过强增强不变性丢失有效信号”的问题。可尝试复用表征分区与损失分解思路,但需改造信号编码器和增强方式,并验证 content 是否保留任务信息、style 是否吸收增强差异。该假设依赖增强不改变标签语义;低信噪比、被试差异、通道变化及小数据可能使两部分分别编码噪声、身份或任务信息,而非预期因素。 可检验的小实验是在固定 EEG 数据划分、编码器和增强配置下,比较普通 BYOL 与分区版本的线性探测表现,并分别探测两部分对任务标签及增强类型的预测能力;若 content 的任务性能下降或两部分没有可区分的信息分工,则不支持该迁移假设。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得核对其将共同特征与增强相关特征分开学习的损失分解机制,以及相对 conventional BYOL 的下游评估;该机制对 EEG 增强不变性与信息保留之间矛盾的适用性尚未验证。