跳到正文
OpenReview · Representation learning· Gerardo Pastrana; Sina Khoshfetrat Pakazad; Utsav Dutta; Henrik Ohlsson·· 2026-03-02精选AI 评分72

赋予传感器语义表达能力:用于语义时间序列表征的多模态 JEPA

Giving Sensors a Voice: Multimodal JEPA for Semantic Time-Series Embeddings

AI 导读

基于摘要分析。本文研究如何让自监督时间序列表征利用传感器身份及通道间关系,提出 CHARM(Channel-Aware Representation Model),将通道级文本描述融入时序卷积层与注意力层,并采用 Joint Embedding Predictive Architecture(JEPA)学习潜在空间表征。 核心机制是以通道文本语义辅助时序建模,同时保持对通道排列顺序的不变性;训练目标是在潜在空间进行预测,而非重建原始信号。作者称该设计可获得时间上稳定、对噪声鲁棒的嵌入,但摘要未说明文本编码方式、语义与信号的融合细节、预测目标构造及损失形式。 作者报告,在分类、预测和异常检测基准上,冻结 CHARM 嵌入并使用轻量线性探测器,可达到或超过规模显著更大的任务专用基础模型。摘要未提供数据集、划分、指标、模型规模与具体基线,因此尚不能判断优势幅度或不同任务间的一致性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 电极身份、位置或参考方式能够形成可靠的通道描述,这种语义条件化机制可能有助于处理通道排列差异;可复用部分是通道语义融合与 JEPA 表征学习,需改造 EEG 通道描述及信号预处理。通道顺序不变性不等于对缺失通道、不同导联配置或跨被试分布变化具有鲁棒性,低信噪比、文本描述失准及小数据训练均可能导致失败。可检验的小实验是在同一 EEG 数据划分下,对照真实通道描述、打乱描述及无文本条件,分别测试通道重排前后的冻结表征线性探测表现。该实验属于迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是 CHARM 如何将通道文本语义融入时序建模并实现通道顺序不变性,以及冻结表征的线性探测能否在明确对照协议下保持竞争力;其 EEG 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net