跳到正文
OpenReview · Representation learning·· 21 天前精选AI 评分76

Earth-JEPA:面向高效且可迁移的地球系统潜在表征学习

Earth-JEPA:Toward efficient and transferable Earth-system latent representation learning

AI 导读

基于摘要分析。研究针对地球系统预测中按任务使用再分析数据进行端到端监督训练的效率与迁移成本问题,提出 Earth-JEPA(E-JEPA):一种无需重建、采用多分辨率和按模态编码的 Joint-Embedding Predictive Architecture,在潜在空间预测未来地球系统状态,而非以输入重建为训练目标。 机制上,模态专属分支将卫星观测、大气再分析及地理场编码为多分辨率潜在状态;潜在金字塔预测器通过 Scale-Specific Attention 预测未来表征,并以对应的指数移动平均(EMA)目标和 State-Transition Loss 提供监督。摘要未给出损失公式、尺度配置及训练细节,其与其他潜在预测方法的具体差异仍需正文核对。 作者报告,在 WeatherBench2 上,Earth-JEPA 的 24 小时 U850 异常相关系数(ACC)相较一个领先的大规模监督天气预测模型提高 17.8%,所用训练计算量约为对照估算值的 12.8%。这里的 17.8% 为相对提升,不是百分点,也不是分类 Accuracy;对照模型身份、计算量估算口径、数据划分和统计信息尚未验证。作者还报告,SEVIR 与其提出的 EarthCastBench 上的实验支持跨时间间隔、跨传感器迁移及缺失再分析数据时的鲁棒性,并覆盖降水临近预报、地表和大气变量预测等密集任务,但摘要未提供对应数值。代码和数据计划在发表时发布,不能据此认定已公开或已接收。 平台推测(待验证):若 EEG 数据能提供稳定的时空结构和足量未标注序列,多尺度潜在预测及 EMA 目标监督可能用于检验跨会话表征学习,而非直接复用天气预测结论。可复用候选是潜在预测与目标更新机制;模态分支、空间编码、时间尺度及损失需按 EEG 通道布局和信号特性改造。低信噪比、跨被试差异、缺失通道及小数据可能使模型优先学习平滑背景而忽略短暂任务信息。一个可证伪的小实验是在固定数据划分与训练预算下,对比潜在预测预训练、重建式预训练和无预训练的 Cross-session EEG 解码效果,核对任务表现及缺失通道鲁棒性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其多分辨率潜在状态预测与 EMA 目标监督是否带来可复现的计算效率和跨传感器迁移收益,但摘要中的算力估算口径及对照协议尚未验证。

来源:OpenReview · Representation learning · openreview.net