跳到正文
arXiv · 架构与算子· Meenakshi Krishnan; You Zhang; Ramani Duraiswami; C. Phillip Brown·· 19 小时前精选AI 评分80

基于神经算子的 HRTF 上采样与个性化

HRTF Upsampling and Personalization via Neural Operators

AI 导读

基于摘要分析。本文研究个性化双耳音频中,如何从少量空间方向上的头相关传递函数(HRTF)测量重建稠密空间响应,提出神经算子 SPARO,将稀疏测量映射为可在任意方向查询的连续 HRTF 场。 机制上,SPARO 先把观测投影到一组学习得到的球面潜在模态,通过 Transformer blocks 处理这些模态,再在指定查询方向解码。其核心思路是借助球面潜在表示连接稀疏输入与连续输出,而不是仅在固定方向集合上生成结果。具体损失、个性化所用监督、训练规模及输入稀疏模式的组织方式尚未验证。 作者报告,在 SONICOM 数据集、LAP24 测量配置下,SPARO 在 3 至 100 个测量方向的各稀疏水平上均取得所比较方法中最低的对数谱失真(LSD)和耳间声级差(ILD)误差;在 100 个测量方向时,相对最强基线,LSD 降低 18%,ILD 误差降低 43%,耳间时间差(ITD)误差则保持竞争力。作者还报告,稠密 HRTF 重建速度为神经场方法 RANF 的 15 至 373 倍,但该速度范围对应的硬件、查询规模及计时条件尚未验证。 作者另在 HUTUBS 上验证方法有效性;摘要未说明这是分别训练评估还是直接跨数据集迁移,因此不能据此认定跨数据集泛化成立。被试划分、基线配置、消融及统计信息尚未验证。本文主要对象是声学传递函数重建,并非神经信号解码;现有材料不足以建立其对 EEG/BCI 的具体适用性,不据此提出迁移实验。

阅读价值

值得关注其将稀疏球面观测映射为连续 HRTF 场的算子学习机制,以及作者报告的重建误差与推理速度优势,但这些结果不构成 EEG 或 BCI 有效性的证据。

来源:arXiv · 架构与算子 · arxiv.org