跳到正文
arXiv · 在线与高效推理· Haojie Li; Xinlong Sun; Xiaohaoyang Lei; Kai Cheng; Yiguo Qiao; Xu Yang; Cunjian Chen·· 1 天前精选AI 评分72

用于热成像到可见光人脸转换的频率路由与身份条件化

Frequency Routing and Identity Conditioning for Thermal-to-Visible Face Translation

AI 导读

基于摘要分析。本文研究热成像到可见光(T2V)人脸转换,提出参数高效框架 FreqID-Control,在保留预训练生成先验的同时,按频谱可靠性与语义角色组织热成像引导信息。主要研究对象是跨光谱人脸图像重建与生物识别身份保持,并非 EEG 解码或 BCI。 核心机制包含两部分:频率路由低秩适配为低频结构与高频细节分配不同的变换子空间;共享跨光谱身份条件化提供紧凑的全局身份 tokens,并与空间热成像 tokens 分开。相对于摘要所述的同质化空间条件适配路径,该设计尝试明确区分局部结构重建和全局身份约束。具体频率分解、身份特征提取、损失函数及训练策略尚未验证。 作者报告,在 MCXFace 和 SpeakingFaces 上的受控分析揭示了稳定的低频对应关系,以及集中于边缘的细节对应关系;在这两个数据集上的实验显示较强的图像保真度与生物识别身份保持能力。作者还报告,MCXFace 上的受控消融支持频率路由与共享身份条件化具有互补贡献。摘要未提供数值指标、数据划分或对照基线,实验协议、消融及统计信息尚未验证;参数效率也需结合可训练参数量和计算开销核对。 平台推测(待验证):频率分路低秩适配可作为 EEG 多频段适配的机制假设,但图像空间频率的跨光谱可靠性不能直接等同于 EEG 时间频率的任务相关性。可复用的是分路适配思想,需改造频率表示和条件输入;人脸身份条件不能直接视为有利于跨被试泛化。小规模验证可在相同 EEG 主干、相同可训练参数预算和相同跨被试划分下,比较共享适配与频段分路适配。低信噪比、频段耦合及小数据可能使分路无益或过拟合;相关 EEG 工作尚未检索确认。

阅读价值

值得核对其如何将频率分路的低秩适配与独立身份条件结合,以分别处理局部结构和全局身份;摘要提及受控分析与消融,但具体效果及参数效率尚待全文验证。

来源:arXiv · 在线与高效推理 · arxiv.org