跳到正文

算法、任务与模态

Pseudo-labeling 最新动态

Pseudo-labeling 研究索引；按可核对的标签归档，不以热度评价质量。

83 条精选近 30 天 1 条共收录 124 条

更新

精选归档 · 第 5 页

1月1日周五第 81–83 条
  1. OpenReview · Representation learning77

    基于条件独立性的自监督语音表征学习前置任务选择

    基于摘要分析。本文研究自监督语音表征学习中如何针对给定下游任务选择前置任务的伪标签，提出基于条件独立性理论的伪标签效用函数估计器，旨在避免为筛选候选伪标签而反复训练并评估下游性能。 原研究对象是语音：从原始信号提取有意义的信号处理特征作为伪标签，通过预测这些伪标签学习表征。作者指出，依赖下游任务最终表现选择伪标签会带来较大的计算成本，并提出无需训练即可计算的效用估计方法。这里“无需训练”指效用估计器，并不意味着后续自监督表征学习或下游模型无需训练。估计器的具体形式、条件独立性涉及的变量、所需标签及样本规模，摘要未予展开。 作者报告，在说话人识别与自动语音识别实验中，该估计器给出的效用与下游任务性能存在显著相关性，支持其用于筛选语音自监督学习的候选伪标签。摘要未提供数据集、划分、相关系数、性能指标或计算节省幅度；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若该估计器可处理 EEG 特征与下游任务变量，其潜在用途是预筛选自监督前置任务，降低小数据条件下反复预训练的成本。可复用的是“先估计伪标签效用、再训练验证”的选择流程；需改造或核对的是 EEG 特征构造、样本依赖处理及效用估计所需的监督信息。低信噪比、通道差异和跨被试分布变化可能使效用排序不稳定。一个可检验的小实验是：在固定 EEG 任务和数据划分下，仅用训练侧数据估计若干候选伪标签的效用，再以相同预训练预算比较其效用排序与独立测试集下游表现的相关性。已有 EEG 相关工作尚未检索确认，语音实验不构成 BCI 有效性的证据。

    阅读价值：值得关注其以条件独立性估计伪标签效用、减少逐一预训练筛选成本的思路，但估计所需的监督信息及其对 EEG 的适用性尚未验证。

  2. OpenReview · Representation learning70

    基于多任务深度聚类的无监督人体活动表征学习

    基于摘要分析。本文研究可穿戴与移动设备传感数据上的无监督人体活动识别（HAR），针对人工标注成本与隐私负担，提出端到端多任务深度聚类框架，将表征学习、聚类和分类联合优化；原研究对象不是 EEG 或 BCI。 方法以未标注的多维传感信号为输入，使用 CNN-BiLSTM 自编码器提取压缩潜在表征，再通过 K-means 划分样本并生成伪标签，随后以潜在特征和伪标签训练 DNN 进行活动识别。其关键机制是将三个任务整合到统一优化框架，而非仅以固定特征完成聚类；具体损失形式、伪标签更新方式及训练调度尚未验证。 作者报告，在三个公共数据集上的实验中，该方法优于浅层无监督学习方法；经过少量标注数据微调后，性能接近当时的先进监督方法。摘要未提供数据集名称、划分协议、指标、具体分数或标注预算，因此不能量化收益，也应区分纯无监督结果与使用标注微调后的结果。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，压缩表征与聚类伪标签的联合学习能够减少 EEG 任务对人工标签的依赖。可复用自编码表征和伪标签训练思路，但需改造通道与时间结构编码，并核对聚类是否对应目标任务而非被试、会话或伪迹。低信噪比和小数据可能放大伪标签错误，跨被试差异也可能主导聚类。一个可证伪的小实验是在固定 EEG 任务和被试隔离划分下，以相同标注预算比较冻结自编码器后聚类与联合优化，并检查聚类与任务标签、被试身份的关联；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其将自编码表征、K-means 伪标签与分类联合优化的机制，以及少量标注微调的收益，但摘要不足以验证具体性能或其对 EEG 的适用性。

1月1日周三
  1. OpenReview · Representation learning71

    通过关系图聚类进行大规模视频表征学习

    基于摘要分析。本文研究大规模视频表征学习，利用视频之间的相似关系构建层次图聚类，并提出两种训练策略：面向 triplet loss 的智能负样本采样，以及将聚类结果作为伪标签的伪分类学习。主要贡献是把样本关系结构用于训练样本选择和监督信号构造，而非直接研究 EEG 或 BCI。 机制上，第一种策略利用层次图聚类指导负样本选择，作者报告其显著提升 triplet loss 的训练效率；第二种策略把聚类结果转化为伪类别，用于学习视频嵌入。摘要未说明视频相似度的计算方法、图构建与层次聚类算法、负样本选择规则、伪标签更新方式或分类损失细节。这两种路径依赖可用的样本间相似关系，以及能形成有用簇结构的数据；其对初始表征质量与数据规模的依赖尚需全文核对。 作者报告，所学嵌入在相关视频检索和视频标注等多个视频理解任务上具有竞争力，并通过大规模数据集实验验证两种方法的可扩展性。摘要未提供数据集名称、划分、对照基线、具体指标或效率测量条件，实验协议、消融及统计信息尚未验证，不能据此判断性能增幅或最优性。 平台推测（待验证）：迁移假设是，若 EEG 片段间的相似图能够保留任务相关结构，图聚类可能用于选择负样本或构造伪标签，缓解标注有限时的表征学习问题。可复用的是图聚类引导采样与伪分类思路；需改造的是 EEG 特征、相似度定义及跨被试、跨通道的结构处理。低信噪比、被试差异和通道配置差异可能使簇主要反映噪声或个体身份，小数据也可能造成簇结构不稳定。一个可检验的小实验是在固定 Cross-subject 划分下，仅用训练被试构图，比较随机负采样与图引导负采样在相同训练预算下的下游表现和训练效率；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对基于层次图聚类的负样本选择与伪标签学习如何改善视频表征训练效率，但其对 EEG 的适用性尚未验证。