跳到正文
OpenReview · State space models·· 28 天前精选AI 评分74

NUViT:面向傅里叶空间数据的视觉 Transformer

NUViT: Vision Transformers for Fourier-Space Data

AI 导读

基于摘要分析。该研究针对标准 Vision Transformers(ViTs)的笛卡尔网格方形分块难以适配傅里叶空间频率与相位结构的问题,提出 Non-Uniform ViT(NUViT),通过重新设计分词、数据表示和位置编码处理傅里叶空间数据。研究对象主要是傅里叶域图像及相关成像任务,而非 EEG 或 BCI。 核心机制是改变输入组织方式,使 Transformer 的输入表示更符合傅里叶数据结构,而不只是沿用自然图像的规则分块。摘要未说明非均匀分词的具体规则、复数或相位的表示方式、位置编码形式,以及训练目标和推理流程,这些实现细节尚未验证。 作者报告,在傅里叶域图像分类、二维晶体晶格识别、MRI 标注和 cryo-EM 蛋白质异质性分析中,NUViT 相比标准架构更好地捕捉傅里叶数据结构。摘要未提供数据集名称、样本规模、划分协议、具体基线或量化指标,不能据此判断优势幅度及各任务间的可比性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若其分词与位置编码确实依赖频率和相位结构,而非特定二维图像布局,则可能为 EEG 频域表示提供可复用思路。该假设仍需将二维空间频率组织改造成适合通道与时间频率轴的表示,并核对方法所需的监督和数据规模。低信噪比、跨被试相位差异、通道配置变化及小数据训练可能削弱收益。取得实现后,可在固定 EEG 任务与相同 Cross-subject 划分下,仅替换规则分词为 NUViT 式分词,保持骨干与训练预算一致,检验是否有稳定增益。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读其如何以非均匀分词、数据表示和位置编码适配傅里叶空间结构;作者报告的跨任务优势仍需结合全文中的实现、对照与评估协议核验。

来源:OpenReview · State space models · openreview.net