跳到正文
OpenReview · State space models· Kyeongmin Yeo; Yunhong Min; Jaihoon Kim; Minhyuk Sung·· 26 天前精选AI 评分75

MatLat:用于 PBR 纹理生成的材质潜在空间

MatLat: Material Latent Space for PBR Texture Generation

AI 导读

基于摘要分析。该研究针对给定 3D 网格的基于物理渲染(PBR)纹理生成,在大规模 PBR 纹理数据稀缺的条件下,利用预训练潜在图像生成模型的嵌入空间与扩散先验,通过定向微调学习材质潜在空间 MatLat。其主要贡献是使新增 PBR 通道能够融入预训练表示,同时约束潜在表示到图像的局部空间对应,以支持跨视角一致的纹理生成。 核心机制包含两部分。首先,作者不冻结预训练 VAE,而是对其微调,以减少编码新增材质通道时产生的潜在分布偏移,便于后续扩散训练。其次,作者认为,仅使用 correspondence-aware attention 不足以保证跨视角一致性,还需要潜在表示到图像的映射保持局部性;为此,在 VAE 微调中加入正则化:裁剪潜在空间中的局部块、将其解码,并对齐相应图像区域,以维持像素与潜在表示之间的空间对应。摘要未提供具体损失公式、通道定义、微调范围或推理流程。 作者报告,与既有基线的比较及消融实验显示,该框架改善了 PBR 纹理保真度,并称各组件对达到最先进性能具有关键作用。摘要未给出数据集、划分、对照方法名称、指标及数值,因此目前无法独立核对效果幅度或比较条件;实验协议、消融及统计信息尚未验证。摘要提供了项目页面,但代码、权重和训练配置是否公开尚未验证。 该工作的直接研究对象是 3D 材质纹理,而非神经信号或 BCI。其局部对应约束依赖潜在空间与图像区域之间的空间关系,不能直接等同于 EEG 的时间、通道或跨被试对应关系;现有材料不足以建立具体迁移路径,因此不提出 EEG 复现实验方案。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读其通过 VAE 微调控制新增材质通道的潜在分布偏移、并以局部解码正则维持空间对应的机制,但摘要中的纹理质量与消融结论尚需全文核对,不能据此认定其适用于 EEG/BCI。

来源:OpenReview · State space models · openreview.net