跳到正文

算法、任务与模态

Universal Representation 最新动态

Universal Representation 研究索引;按可核对的标签归档,不以热度评价质量。

64 条精选近 30 天 26 条共收录 77 条

更新

精选归档 · 第 4 页

9月22日周五第 61–64 条
  1. OpenReview · Representation learning81

    面向一般任务空间的主动表征学习及其机器人应用

    基于摘要分析。本文研究多任务预训练中应从哪些源任务采样,提出主动表征学习的算法与理论框架,同时覆盖面向特定目标任务和面向一类任务的通用表征学习,支持从离散到连续的源任务与目标任务空间。 核心机制是主动选择源任务,而非被动分配采样。作者提出可操作的元算法,并给出双线性、基于特征的非线性及一般非线性情形的实例,称其兼容深度表征学习实践。摘要未提供具体采样准则、模型结构、损失函数及训练流程。 作者报告,在双线性情形下,利用任务表征的非均匀谱和经校准的源—目标相关性,达到目标任务 ε 超额风险所需的样本复杂度随 (k*)²‖v*‖₂²ε⁻² 缩放;其中 k* 为目标的有效维度,‖v*‖₂²∈(0,1] 描述源与目标空间的联系。摘要将相对被动方法的样本复杂度节省表述为最高 1/d_W,d_W 为任务空间维度;这一表述的精确定义及适用假设需核对全文,不宜直接换算为百分比。 作者在合成数据、摆系统仿真与真实无人机飞行数据上验证不同实例,报告相对基线平均提升 20%–70%。摘要未说明对应指标、基线、数据划分及各任务结果,因此不能将该范围解释为 Accuracy 提升或直接跨任务比较。实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 中的被试或会话可建模为源任务,且存在可估计的源—目标相关性,该框架可能用于有限预算下选择预训练数据。可复用的是任务采样策略,需改造任务描述、相关性估计与 EEG 编码器;其依赖多源任务数据及可比较的学习反馈。低信噪比、通道差异和小样本可能使相关性估计不稳定,导致负迁移。一个可证伪的小实验是固定编码器、总采样预算与目标训练数据,在相同 Cross-subject 划分下比较主动源任务采样和均匀采样,并报告目标被试上的同一指标及不确定性。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读的是其将源任务主动选择统一到面向特定目标与任务无关的表征学习框架,并以源—目标相关性解释采样效率;理论条件与机器人实验中的提升指标仍需全文核对。

  2. OpenReview · Representation learning72

    利用 Guided Stop-gradient 的隐式对比表征学习

    基于摘要分析。本文研究自监督 Siamese networks 在拉近正样本对表征时出现的表示坍塌问题,提出 guided stop-gradient,利用源编码器与目标编码器的非对称架构隐式引入对比学习思想,并将其应用于 SimSiam 和 BYOL。 机制与贡献:显式对比学习通过推远负样本对避免坍塌,但摘要指出,这类方法对负样本数量减少不够稳健。本文从仅使用正样本对的方法出发,通过 guided stop-gradient 调整非对称学习过程,而不是依赖显式负样本。摘要未说明梯度引导的具体规则、损失形式或编码器更新方式,因此尚不能判断其与原有 stop-gradient 机制的实质差异。 结果与证据边界:作者报告,在 SimSiam 和 BYOL 上加入该方法可稳定训练并提升性能;作者还报告,该方法在小批量条件下有效,且移除 predictor 后仍不发生坍塌。摘要未提供数据集、批量大小、评价指标、数值结果及对照配置,实验协议、消融及统计信息尚未验证。作者称代码位于补充材料,其可获取性与复现条件尚未核对。 平台推测(待验证):假设该机制能够在较少样本下维持表征多样性,它可能适用于受批量规模限制的 EEG 自监督预训练。原方法依赖由变换构造的正样本对及源—目标非对称架构;可尝试复用梯度控制机制,但需改造 EEG 编码器与正样本构造,避免增强破坏任务相关信息。低信噪比、跨被试差异和通道变化可能使正样本关系失真,小数据下不坍塌也不等于学到有效表征。可检验的小实验是在固定 EEG 数据划分、增强方式及训练预算下,对比原始 SimSiam 与加入该机制的版本,改变批量大小,同时测量表征方差与冻结编码器后的下游性能。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得核对 guided stop-gradient 如何在不显式使用负样本的非对称架构中缓解表示坍塌,尤其是作者报告的小批量训练及移除 predictor 条件下的稳定性,但其具体实现与实验协议尚未验证。

  3. OpenReview · Representation learning79

    通过随机分区上的视图一致性分配进行表征学习

    基于摘要分析。本文研究视觉特征的自监督表征学习,提出 Consistent Assignment of Views over Random Partitions(CARP),以原型随机分区构造预训练任务,并约束不同视图的分配一致性。其主要贡献是在端到端在线训练中学习聚类原型,无需额外的不可微模块求解聚类分配问题。 机制方面,CARP 使用梯度下降学习原型,通过对原型进行随机分区形成多个随机分类任务,以正则化模型并促进视图间的一致性。作者报告,该机制能够提高联合嵌入训练的稳定性并防止表征坍塌。摘要未给出具体损失形式、分区采样方式、视图增强策略及防坍塌条件,这些内容需结合全文核对。 评估方面,作者报告在 17 个数据集上采用线性评估、少样本分类、k-NN、k-means、图像检索和复制检测等协议,与 11 种现有自监督方法比较,并通过消融研究支持随机分区任务对表征质量的贡献。作者还报告,在迁移学习任务中,CARP 的平均表现优于多种训练时间更长的自监督方法;摘要未提供具体数据集、分数、平均方式或训练预算,因此不能据此判断各任务优势及计算效率。实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 的不同增强视图能够保留同一任务相关信息,原型随机分区与分配一致性机制可能用于缓解无标签 EEG 表征学习中的坍塌和聚类不稳定。可复用的是原型学习与一致性约束,需改造的是 EEG 编码器及视图构造;其效果依赖无标签数据规模与增强的语义保真性。低信噪比、被试差异和通道变化可能使原型主要编码伪迹或被试身份,小数据条件下分区任务也可能不稳定。可检验的小实验是在固定 EEG 数据划分、编码器、增强和训练预算下,对比启用与禁用随机分区任务,分别检查表征坍塌及跨被试线性评估结果。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

    阅读价值:值得核对 CARP 如何通过原型随机分区与视图分配一致性改善自监督聚类的训练稳定性,以及这一机制的消融证据;其对 EEG 表征学习的适用性尚未验证。

6月6日周二
  1. OpenReview · Representation learning76

    线性动力系统的多任务模仿学习

    基于摘要分析。本文研究线性动力系统中的高效模仿学习,通过跨源策略学习共享低维表征,再利用该表征限定目标策略类,以改善目标任务的样本效率。主要贡献是给出学习所得目标策略生成轨迹上的模仿误差界,并用仿真检验该界所提示的变化趋势。 方法分为两阶段:预训练阶段从 H 个源策略学习共享的 k 维表征;微调阶段以该表征参数化目标策略类。作者报告,目标策略生成轨迹上的模仿误差上界为 Õ(k n_x/(H N_shared) + k n_u/N_target),其中 n_x > k 为状态维度,n_u 为输入维度,N_shared 为表征学习期间每个源策略收集的数据量,N_target 为目标任务数据量。该界区分了共享表征学习与目标任务适配两部分代价,体现出在相关任务间汇集数据的潜在收益;不能脱离论文的理论假设,将其理解为任意任务增加数据都必然改善性能。作者报告仿真支持该界预测的趋势,但摘要未提供具体系统、对照、误差数值或仿真协议。 平台推测(待验证):若 BCI 闭环控制可近似为线性动力系统,且多个控制任务或示范策略确实共享低维状态表征,该机制可能对应目标控制任务示范数据不足的瓶颈。可复用的是共享表征预训练与目标策略微调框架;需改造的是神经信号到状态的映射、控制输入定义及任务共享约束,不能直接视为 EEG 分类方法。低信噪比、跨被试差异、通道变化及小数据下不稳定的状态估计均可能破坏上述假设。一个可检验的小实验是在固定目标任务示范量的简化线性闭环仿真中,比较共享表征微调与从头模仿学习,并分别改变源策略数量及状态观测噪声,检验轨迹模仿误差是否符合理论趋势;这不构成真实 BCI 有效性验证。已有 EEG 相关工作尚未检索确认。 理论界所需的稳定性、任务相关性及数据采集假设,以及具体损失、训练实现、实验协议、消融及统计信息尚未验证,复现前需查阅全文。

    阅读价值:该研究给出了共享表征预训练与目标策略微调的轨迹模仿误差界,值得核对其任务共享假设及样本效率收益的适用条件,但对 EEG/BCI 的有效性尚未验证。