跳到正文
OpenReview · State space models· Dongwei Pan; Yang Li; Hongsheng Li; Kwan-Yee Lin·· 2024-01-01精选AI 评分74

TimeWalker:面向终身头部化身的个性化神经表示空间

TimeWalker: Personalized Neural Space for Lifelong Head Avatars

AI 导读

基于摘要分析。TimeWalker 研究如何利用一个人在不同人生阶段的非结构化数据,构建覆盖其生命历程的个性化 3D 头部化身,并支持不同时期的重建与动画。其核心贡献是学习跨年龄的个性化神经参数表示,将形状、表情与外观解耦;研究对象是计算机视觉中的头部建模与渲染,而非 EEG 解码或 BCI。 方法将个体头部表示为规范空间中的平均头部表示与时刻特定头部属性表示的加性组合,后者由一组神经头部基生成。Dynamic Neural Basis-Blending Module(Dynamo)根据该个体跨年龄的共有与特有属性,动态调整神经头部基的数量及混合权重,旨在紧凑表达其头部变化。 另一组成部分 Dynamic 2D Gaussian Splatting(DNA-2DGS)使用可控、具有方向的二维平面高斯盘,并引入参数模型先验,使这些高斯盘随表情变化而移动或旋转,以建模头部运动形变并维持重建与渲染的真实感。摘要未说明具体损失、训练流程及控制参数。 作者报告,实验展示了模型沿解耦属性维度重建和驱动化身、生成逼真渲染的能力;但所给摘要没有披露数据集、个体数量、跨年龄数据覆盖、划分协议、对照基线或定量指标,实验协议、消融及统计信息尚未验证。因此,目前不能判断其在稀疏年龄观测、未见人生阶段或复杂表情条件下的泛化表现,也不足以确定复现所需的数据和计算条件。材料未给出与 EEG/BCI 的具体机制对应,不能据此推断神经信号任务上的有效性。

阅读价值

值得关注其以动态神经基组合和可控 2D Gaussian Splatting 解耦跨年龄头部属性的机制,但摘要未提供定量评估,且尚无材料支持其对 EEG/BCI 的直接价值。

来源:OpenReview · State space models · openreview.net