局部性感知的可泛化隐式神经表示
Locality-Aware Generalizable Implicit Neural Representation
基于摘要分析。本文研究如何提高可泛化隐式神经表示(INR)对局部细节的表达能力,提出结合 transformer 编码器与局部性感知 INR 解码器的框架,主要研究对象是包含像素、射线等局部实体的数据表示,而非 EEG 或 BCI。 可泛化 INR 利用潜在编码调制坐标网络的权重或中间特征,使单个连续函数能够表示多个数据实例。作者认为,既有调制方式难以定位并捕获细粒度细节。本文先由 transformer 编码器将数据实例编码为一组承载局部信息的 latent tokens;解码器再依据输入坐标,通过 cross-attention 选择性聚合这些 tokens,得到调制向量,并在多个频率带宽上进行由粗到细的调制与解码。前者旨在实现空间局部性,后者旨在实现频谱局部性;这里的频率带宽不能直接等同于 EEG 的生理频段。 作者报告,该框架优于此前的可泛化 INR,并报告局部性感知潜在表示对图像生成等下游任务有用。摘要未列出具体数据集、评估协议、指标、提升幅度或对照实现,因此无法核对优势的适用范围。训练目标、坐标采样方式、模型规模、消融及统计信息尚未验证。“可泛化”在此指跨数据实例的表示能力,不等同于已验证的跨被试域泛化。 平台推测(待验证):若将 EEG 片段建模为时间与通道位置上的连续信号,坐标条件化的 token 聚合可能用于表征局部瞬态变化,可复用聚合与调制机制,但需改造输入编码、坐标定义及输出目标。该假设依赖可靠的时空坐标与足够训练实例;低信噪比可能使局部表示偏向伪迹,跨被试差异、通道配置变化及小数据也可能破坏其有效性。可先在固定通道、严格划分训练与测试片段的 EEG 重建实验中,匹配训练预算比较全局调制与局部聚合,并分别消融局部聚合和多频带调制;重建改善仍不等于 BCI 解码改善。已有 EEG 相关工作尚未检索确认。
值得核对其坐标条件化的局部 token 聚合与多频带调制如何改善细节表示,但摘要未提供量化结果,其对 EEG 表示学习的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net