E3Gen
E3Gen是一种新型的数字头像生成方法,能够实时生成高保真度的头像,具有详细的衣物褶皱,并支持多种视角和全身姿势的全面控制,以及属性转移和局部编辑。它通过将3D高斯编码到结构化的2D UV空间中,解决了3D高斯与当前生成流程不兼容的问题,并探索了在涉及多个主体的训练中3D高斯的表现力动画。
BakedAvatar是一种用于实时神经头像合成的全新表示,可部署在标准多边形光栅化流水线中。该方法从学习到的头部等值面提取可变形的多层网格,并计算可烘焙到静态纹理中的表情、姿势和视角相关外观,从而为实时4D头像合成提供支持。我们提出了一个三阶段的神经头像合成流水线,包括学习连续变形、流形和辐射场,提取分层网格和纹理,以及通过微分光栅化来微调纹理细节。实验结果表明,我们的表示产生了与其他最先进方法相当的综合结果,并显著减少了所需的推理时间。我们进一步展示了从单眼视频中产生的各种头像合成结果,包括视图合成、面部重现、表情编辑和姿势编辑,所有这些都以交互式帧率进行。