跳到正文
OpenReview · Representation learning· Doyup Lee; Chiheon Kim; Minsu Cho; Wook-Shin Han·· 2023-09-22精选AI 评分76

局部性感知的可泛化隐式神经表示

Locality-Aware Generalizable Implicit Neural Representation

AI 导读

基于摘要分析。该研究针对可泛化隐式神经表示(INR)难以定位并捕捉像素、射线等细粒度局部信息的问题,提出结合 transformer 编码器与局部性感知 INR 解码器的框架。原论文主要研究坐标驱动的数据表示,并以图像生成等下游任务检验局部潜在表示的用途,并非 EEG 或 BCI 研究。 可泛化 INR 通过潜在编码调制坐标神经网络的权重或中间特征,使一个连续函数能够表示多个数据实例。本文的 transformer 编码器从单个数据实例预测一组 latent tokens,将局部信息编码到不同 token 中;解码器针对输入坐标,以 cross-attention 选择性聚合这些 tokens,提取调制向量,再通过多个频率带宽进行由粗到细的调制与解码。其机制贡献在于分别从空间选择性和频谱多尺度两个方面引入局部性,而非仅使用统一的实例级调制。 作者报告,该框架显著优于此前的可泛化 INR,并在图像生成等下游任务中验证了局部潜在表示的用途。摘要未提供数据集、划分、指标、具体对照与数值,因此无法量化收益或判断不同协议下的可比性;损失函数、频带实现、训练规模、实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 可被表示为以时间及通道位置为坐标的连续信号,按坐标选择局部 tokens 与多频带调制可能用于重建局部时频细节。可复用的是坐标条件聚合和频带调制机制,需改造输入编码、通道空间表达及频率尺度;所需监督、数据规模与适用采样结构仍待核对。低信噪比下,局部表示可能拟合伪迹,被试差异、通道布局变化及小数据也可能削弱泛化。一个可检验的小实验是在同一 EEG 数据划分与相同训练预算下,对比局部 token 聚合和统一潜在编码调制的遮蔽片段重建误差,再核对多频带调制的增益;这不等同于已验证的 BCI 解码效果。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读其按坐标选择局部潜在 token 与多频带粗到细调制的机制,以核对局部表征对可泛化 INR 的贡献;其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net