跳到正文
arXiv · 表征与预训练· Yujia Zheng; David Klindt; Randall Balestriero; Bernhard Schölkopf·· 3 天前精选AI 评分80

DSReg:无需重建即可可证明地恢复世界中的单个潜变量

DSReg: Provably Recovering Individual World Latents without Reconstruction

AI 导读

基于摘要分析。本文研究无重建表征学习中单个潜变量仍被线性混合的问题,提出 DSReg(Dependency-Sparsity Regularization),旨在不使用重建、解码器或标签的情况下恢复世界中的单个潜变量。 核心机制与理论:摘要指出,非线性 ICA、字典学习和因果表征学习通常借助重建、辅助监督或非高斯性等分布不对称性来锚定潜变量,而 JEPAs 等方法仅能将潜在状态识别到线性变换。DSReg 以 LeJEPA 提供的线性可辨识性为基础,引入 Structural Diversity 条件,即不同潜变量在观测上具有不同的依赖特征。作者报告,在此条件下,DSReg 可将潜变量恢复到仅存在符号翻转与排列歧义的程度。摘要未提供依赖关系的具体估计方式、正则项形式及证明细节。 创新与结果:作者报告,DSReg 可作为后处理应用于任何已线性识别的表征,复用训练检查点且相较联合训练没有损失;这一表述适用的目标与条件尚需全文核对。作者还声称该方法建立了首个能恢复每个世界潜变量的完全可辨识 JEPA,且 Structural Diversity 严格弱于此前可辨识潜变量模型的全部结构条件,这些比较的覆盖范围与前提尚未验证。作者报告,在合成设置、世界模型探针、学习得到的视觉编码器及外部渲染器实验中,DSReg 保持密集预测能力,同时改善单个潜变量恢复及下游使用;摘要未给出具体数据集、指标、规模或数值。实验协议、消融及统计信息尚未验证。 平台推测(待验证):迁移至 EEG 的假设是,不同潜在源在通道或时序观测上具有可区分的依赖特征,且输入表征已满足线性可辨识条件。可复用部分是表征后处理思想;依赖估计与正则化需适配 EEG 的时序性和通道结构。低信噪比、共同源混合、跨被试差异、通道不足及小数据可能使依赖特征难以区分。一个可证伪的小实验是在已知源与混合机制的合成 EEG 上,对同一表征比较 DSReg 后处理前后的潜变量恢复与下游性能,并逐步改变噪声和通道数。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 DSReg 如何在 Structural Diversity 条件下将线性可辨识表征提升为单个潜变量可辨识表征,以及后处理复用已有检查点的理论条件与实验证据。

来源:arXiv · 表征与预训练 · arxiv.org