《Image and Vision Computing》:Vista2Vogue: Identity-preserving fashion pose transfer via explicit geometric anchoring and texture restoration
编辑推荐:
•SRIM 利用头部刚性与拓扑结构进行姿态迁移,以保持身份一致性。•缩放、旋转与仿射校准用于对齐输入并减少姿态伪影。•由掩码驱动的局部渲染结合纹理增强,可高效地修复细节。引言从单张参考图像进行时装姿态迁移是 2D 虚拟试穿与数字内容创作的关键环节:在电商场景中,商家仅需一张参
- •
SRIM 利用头部刚性与拓扑结构进行姿态迁移,以保持身份一致性。
- •
缩放、旋转与仿射校准用于对齐输入并减少姿态伪影。
- •
由掩码驱动的局部渲染结合纹理增强,可高效地修复细节。
引言
从单张参考图像进行时装姿态迁移是 2D 虚拟试穿与数字内容创作的关键环节:在电商场景中,商家仅需一张参考图即可合成模特在目标姿态下的图像,从而显著降低拍摄成本并提高用户决策效率。该任务的核心在于,在生成与目标姿态相对应的 2D 外观的同时,保持人物身份与服装图案的一致性。与关注在不同个体之间迁移服装的虚拟试穿任务不同,时装姿态迁移需要在合成新型身体构型的同时维持严格的人员身份一致性。这一区别要求评估数据集包含同一身份的姿态迁移配对样本,而 VITON-HD [1]、DressCode [2] 等传统虚拟试穿基准从根本上无法满足这一要求,因为它们仅提供服装-人物配对而没有同一人的不同姿态。DeepFashion-MultiPose 数据集 [3] 独特地填补了这一空白,通过提供跨多种姿态的同一人物高分辨率配对样本,使姿态迁移中的身份保持能够得到严格评估。然而,现有方法仍然无法在身体姿态发生变化时确保面部结构、身体比例与纹理细节的一致性。该问题的聚焦点在于"如何在单图输入条件下实现可靠且高效的姿态迁移"。
现有的时装姿态迁移方法在身份一致性、几何一致性或高频细节保真度上均有改进,但这些目标往往是各自独立优化的。面向身份的适配器能够保持全局外观线索,但在姿态大幅变化时可能出现漂移;姿态迁移网络能够更直接地建模身体形变,但往往会使面部与服装细节模糊;而大型扩散/图像编辑模型虽能提供强大的视觉先验,却并未显式地锚定身份关键的头部区域。因此,本文所解决的核心差距并非缺少另一个扩散骨干网络,而是缺少一种显式且轻量级的几何锚定策略,使其能够在同一姿态迁移流程中串联源身份、目标姿态与局部纹理修复。代表性方法的详细讨论见第 2 节。
为克服现有生成方法的局限,本文提出 Vista2Vogue 框架,通过引入显式几何约束来重构姿态迁移流程。该方法通过双视角拼接参考图机制(SRIM)构建空间拓扑先验,并结合头部刚体变换与局部掩码策略以支持姿态迁移的身份锚定与服装细节修复。采用低秩自适应策略优化姿态-文本语义对齐,同时目标姿态引导图提供了姿态迁移评估中所使用的标准骨骼布局条件。我们在 DeepFashion-MultiPose 上进行的修订实验将 Vista2Vogue 定位为一个在透明评估协议下兼顾身份保持、姿态一致性与像素级重建的保身份姿态迁移框架。
本研究的核心贡献包括:
(1) 我们提出双视角拼接参考图机制(SRIM),这是一种面向任务的几何锚定策略,它显式地将变换后的头部参考放置于源图像旁边,使扩散骨干网络同时接收全局外观上下文与目标姿态身份锚点。
(2) 我们设计了缩放、旋转与仿射校准流程,以将拼接参考与目标姿态几何进行对齐,从而提升侧转前、前转后、后转侧、后转前等姿态迁移情形下的结构连续性。
(3) 我们围绕 SRIM 集成了掩码驱动的局部渲染、Fill-Redux 纹理修复以及公开发布的 ACE++ Subject LoRA 等扩散组件,并在透明评估协议下报告了重建、身份、姿态一致性、延迟、显存与消融实验结果。
章节片段
姿态迁移中的身份一致性
身份一致性是时装姿态迁移的核心挑战,需要在姿态变换过程中维持面部、服装款式与身体特征的连贯性。显式身份锚定技术通过结合空间约束的强语义特征提取来提升保真度。InstantID [4] 使用预训练的人脸识别模型提取强语义 ID Embedding,并结合 IdentityNet 对五官的五关键点进行约束,其
问题初步
在时装姿态迁移任务中,模型需要在目标姿态变化下解决身份一致性、几何一致性与高频细节保真度问题。该领域的主要挑战包括身份漂移、结构错位与纹理畸变。以下是本研究核心方法学背后的重要背景知识:
方法
本研究提出 Vista2Vogue 用于保身份的时装姿态迁移。其核心创新在于 SRIM:在扩散推理之前,该方法构造一张显式的双视角参考图,将完整的源外观与与目标姿态对齐的头部锚点结合。这一几何参考构造是本文提出的面向任务组件。预训练的 FLUX.1 Fill 骨干网络、FLUX Redux、CLIP/SigCLIP 编码器以及预训练的 ACE++ Subject LoRA 是所采用的组件,
DeepFashion-MultiPose 数据集
如第 3 节所述,我们的主要评估在 DeepFashion-MultiPose 数据集上进行,该数据集独特地提供了配对评估所必需的同身份姿态迁移对。原始候选池约含 500 对同身份的源-目标配对,我们从中构建了一个精选的 150 对定量测试集。每个保留的配对包含一张源图像 、一张对应的真实目标图像 ,以及一个可一致用于
结论
近期时装姿态迁移的进展将几何映射与扩散建模相结合,但身份漂移、结构异常与细节畸变等问题依然存在。我们提出 Vista2Vogue,采用双视角拼接参考图机制(SRIM)锚定身份关键的头部区域,并与低秩自适应条件结合以实现姿态-文本语义对齐。在与可复现基线的显式源-目标协议下进行评估,Vista2Vogue 实现了
CRediT 作者贡献声明
Yinyin Sun:撰稿—审阅与编辑,撰稿—初稿撰写,可视化,验证,数据管理,概念构思。
利益冲突声明
作者声明不存在任何已知可能影响本文所报告工作的竞争性经济利益或个人关系。
Yinyin Sun