GTAvatar:一种高效的服装转移技术,可同时为从单目视频中重建的对齐后的虚拟人物应用服装
《Computer Aided Geometric Design》:GTAvatar: Efficient garment transfer for aligned avatars simultaneously reconstructed from monocular videos
【字体:
大
中
小
】
时间:2026年05月12日
来源:Computer Aided Geometric Design 1.7
编辑推荐:
方先勇|李嘉瑞|周宝峰|王林波|刘正毅
安徽大学计算机科学与技术学院,中国安徽合肥
**摘要**
在虚拟角色之间进行自由服装转移时,由于表面不对齐、未知皮肤和身体形状被遮挡等问题而受到阻碍。将所有虚拟角色统一建模为具有相同数量表面高斯点的对齐表面,或者创建对齐的虚拟
方先勇|李嘉瑞|周宝峰|王林波|刘正毅
安徽大学计算机科学与技术学院,中国安徽合肥
**摘要**
在虚拟角色之间进行自由服装转移时,由于表面不对齐、未知皮肤和身体形状被遮挡等问题而受到阻碍。将所有虚拟角色统一建模为具有相同数量表面高斯点的对齐表面,或者创建对齐的虚拟角色,可以提供一种可能的解决方案。因此,本文介绍了GTAvatar,通过重建这些对齐的虚拟角色来实现高效的服装转移。具体而言,GTAvatar提出了三个创新点:(1)基于三平面的联合外观-语义学习方法,用于估计每个虚拟角色的结构对齐高斯点;(2)基于面部约束的抗遮挡皮肤和形状生成方法,以恢复准确的皮肤纹理和身体形状;(3)与身体无关的服装转移策略,用于在虚拟角色之间转移服装。实验结果表明,GTAvatar支持在对齐的虚拟角色之间进行灵活且逼真的服装转移。此外,与现有技术相比,我们的方法在新姿态合成方面的PSNR平均提高了2.1dB。
**引言**
从单目视频中重建的虚拟角色之间的服装转移与虚拟现实、计算机图形学和3D视觉的研究和应用密切相关。大多数现有的研究(Guo等人,2023年;Jiang等人,2023b年;2022年;Hu等人,2024a年;b年;Moon等人,2024年)基于神经辐射场(NeRF)(Mildenhall等人,2021年)或3D高斯扩散(3DGS)(Kerbl等人,2023年)技术,但由于缺乏关于布料部分的语义信息,无法有效实现服装与身体的分离。相比之下,基于3DGS的方法(如Disco4D(Pang等人,2025年)和LayGA(Lin等人,2024年)采用多层建模来分离服装和身体,但它们无法有效转移不同形状和大小的服装。
特别是,这些基于3DGS的多层方法存在以下局限性:(1)它们依赖于每个虚拟角色的单独模型,因此,在不同大小的虚拟角色之间转移服装是一个繁琐且不可泛化的过程;(2)不同虚拟角色之间的各种身体形状带来了进一步的挑战:当在虚拟角色之间交换服装时,服装与原始身体之间的不匹配通常会导致视觉瑕疵,如服装穿透或整体不连贯;(3)被服装遮挡的身体区域不可见,这给生成与输入视频中可见身体区域一致的服装遮挡区域带来了巨大挑战(图1)。
进一步分析表明,前两个局限性是由于不同虚拟角色之间的表面不对齐造成的,而第三个局限性是由于在转移不同类型服装时未知皮肤和身体形状被遮挡所致。因此,最好有一个系统,其中重建的虚拟角色具有相同数量语义高斯点的对齐表面,并且之前被遮挡的皮肤和形状与已知皮肤(例如面部)和形状一致。这样,跨虚拟角色的服装转移就可以轻松实现。
对于对齐的表面,共享建模可以提供一个可行的解决方案。此外,为了捕捉和转移每个虚拟角色的服装,个性化处理是必要的。因此,从这些对齐的表面中学习个性化的外观和服装语义至关重要。对于被遮挡的未知身体部分,它们的形状和颜色难以直接优化,但可以通过底层参数模型(例如SMPL-X(Pavlakos等人,2019年)来估计完整的身体皮肤和形状。
因此,可以为这种自由服装转移任务提出三种策略。首先,引入了一种基于三平面的联合外观-语义学习策略,以获得每个虚拟角色的一致结构语义高斯点。它首先为每个虚拟角色分配一个外观三平面和一个语义三平面,然后将其输入共享解码器以计算每个虚拟角色的对齐高斯点的属性。此外,还使用了两种额外的技术:(1)引入了一组语义连续性损失来处理边界分类的歧义,这可以显著提高边界分类的准确性;(2)受InstanceGaussian(Li等人,2025年)的启发,采用了一种三阶段渐进式训练策略来进一步提高学习性能。
其次,提出了一种基于面部约束的抗遮挡皮肤和形状生成方法,用于生成与重建的虚拟角色(RA)在身体形状和皮肤上匹配的参数化模型最小化服装虚拟角色(MCA)。MCA可以用来替换RA的服装遮挡区域。优化过程由Score Distillation Sampling(SDS)(Poole等人,2022年)从受ControlNet(Zhang等人,2023年)约束的多模态扩散模型中进行监督。这有助于通过面部、法线和描述性文本的监督来更好地对齐MCA和RA。这里引入了一种皮肤损失,用于衡量MCA和RA的皮肤平均高斯颜色之间的差异,以确保一致性。
第三,提出了一种与身体无关的虚拟角色之间的服装转移策略,利用对齐的RA及其相关的具有正确皮肤和形状的MCA。它用源RA的服装替换目标RA的服装,同时保持目标RA的底层身体与其估计的相应MCA相同。
综合上述贡献,提出了一个名为GTAvatar的新系统,以实现从单目视频中同时重建的多个虚拟角色之间的有效服装转移。实验显示了其有效性。具体来说,与现有技术相比,GTAvatar在新姿态合成方面的PSNR平均提高了2.1dB。
**我们的贡献总结如下:**
- 基于三平面的联合外观-语义学习,采用外观三平面和语义三平面来表示对齐虚拟角色的特征。此外,还使用了三阶段渐进式训练策略和几种语义连续性损失来增强语义学习。
- 基于面部约束的抗遮挡皮肤和形状生成,将ControlNet集成到受面部、文本和法线线索约束的多模态扩散模型中,用于参数化模型基础的完整身体皮肤和形状估计。
- 与身体无关的服装转移策略,利用前两种想法中的对齐RA及其相关的MCA,通过直接的区域替换来实现高效的服装转移。
**部分摘录**
**单层虚拟角色重建**
从视频中重建的3D服装虚拟角色通常保持规范的3D表示,并利用运动和变形线索来预测规范3D表示上的偏移。传统的基于网格的方法(Loper等人,2015年;Pavlakos等人,2019年)受限于固定的拓扑结构和分辨率,无法表示如人脸这样的细节。神经辐射场(NeRF)(Mildenhall等人,2021年)的出现促进了拟合关节化隐式神经场的方法的发展。
**考虑多人服装转移场景,我们主要解决两个关键问题。**
首先,开发一个单一模型来同时重建多个具有语义意识的虚拟角色,这需要具有相同数量语义高斯点的对齐表面。其次,生成被服装遮挡的皮肤和身体形状,利用已知身体和可见皮肤区域(例如面部)的信息来指导生成过程。
**评估数据集、指标和比较方法**
该系统主要在NeuMan(Jiang等人,2022年)和PeopleSnapshot(Alldieck等人,2018年)数据集上进行评估。NeuMan提供了在户外环境中拍摄的多个单目视频,每个视频包含大约10到20秒的移动人物。所有这些视频都被用于评估,训练集和测试集按照官方设置进行划分。PeopleSnapshot提供了在不同环境中旋转的不同服装人物的视频。
**结论**
本研究提出了第一个端到端系统GTAvatar,用于从单目视频中同时重建的不同虚拟角色之间的服装转移。提出了两种主要策略来克服挑战,包括虚拟角色之间的表面不对齐和未知的遮挡身体区域:(1)提出了一种基于三平面的联合外观-语义学习方法,用于对齐虚拟角色的共享解码,该方法为每个虚拟角色采用外观三平面和语义三平面;(2)
**CRediT作者贡献声明**
方先勇:撰写——审阅与编辑、撰写——原始草稿、监督、资源管理、方法论、形式分析、概念化。
李嘉瑞:撰写——原始草稿、软件开发、数据管理。
周宝峰:可视化、形式分析、数据管理。
王林波:可视化、资源管理、方法论。
刘正毅:可视化、调查、形式分析。
**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
**致谢**
本工作得到了中国农业农村部的科技项目的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号