跳到正文
OpenReview · State space models· Diqiong Jiang; Yiwei Jin; Fang-Lue Zhang; Zhe Zhu; Yun Zhang; Ruofeng Tong; Min Tang·· 2023-01-01精选AI 评分74

Sphere Face Model:采用联合 2D/3D 训练、具有超球面流形潜在空间的三维可变形模型

Sphere Face Model: A 3D morphable model with hypersphere manifold latent space using joint 2D/3D training

AI 导读

基于摘要分析。该研究针对单目人脸重建中形状保真度与身份一致性难以兼顾的问题,提出 Sphere Face Model(SFM),通过超球面形状参数空间及分阶段 2D/3D 训练构建三维可变形模型(3DMM)。研究对象是人脸形状生成与重建,并非 EEG 解码或 BCI。 作者认为,传统 3DMM 的形状参数服从多元高斯分布,而身份嵌入位于超球面,两者的分布不匹配使识别损失与重建损失难以共同下降。SFM 的核心是用于重建三维人脸形状的基矩阵:第一阶段使用 3D 数据训练,第二阶段使用 2D 数据训练;另设计损失约束形状参数具有超球面分布。摘要未给出损失公式、基矩阵规模、具体优化过程及身份约束的实现方式,这些细节尚未验证。 作者报告,SFM 的形状参数空间具有较强的表示能力与聚类表现,并能在具有挑战性的单目重建条件下保持较高的形状保真度与一致性。但摘要未提供数据集、划分、对照基线、定量指标或具体挑战条件,无法据此判断提升幅度;实验协议、消融及统计信息尚未验证。 复现需核对全文中的数据处理、两阶段训练设置及损失定义。摘要称代码将发布,当前可用性尚未验证。材料没有提供 EEG/BCI 实验,潜在空间几何约束在该领域的适用性不能由人脸重建结果直接推出;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过超球面形状参数空间协调身份约束与重建目标的机制,但损失设计、实验协议及其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net