最近，阿里巴巴达摩院的研究团队发布了一项突破性成果——“SHMT：自监督层次化妆转移”。该论文已获国际顶级学术会议NeurIPS2024的认可。这项研究提出了一种创新的化妆效果转移技术，通过潜在扩散模型（Latent Diffusion Models）实现化妆图像的精确生成，为化妆和图像处理领域带来了新的动力。
简而言之，SHMT是一种妆容迁移技术，只需一个化妆参考图和目标角色照片，即可将妆容效果完美迁移到目标面部。
该团队采用开源模式，发布了训练代码、测试代码及预训练模型，方便研究人员进行相关研究和开发。
在模型构建过程中，团队建议用户创建一个名为“ldm”的conda环境，并通过提供的环境文件快速设置。同时，研究采用了VQ-f4作为预训练的自编码模型，用户需下载并放置于指定检查点文件夹，以便开始推理。
数据准备是SHMT模型成功运行的关键。研究团队建议下载“BeautyGAN”提供的化妆迁移数据集，并将不同化妆与非化妆图像进行整合。同时，面部解析和3D面部数据的准备同样重要，相关工具和数据路径在研究中已详细说明，以确保用户能够有效进行数据准备。
在模型训练与推理方面，研究团队提供了详细的命令行脚本，用户可根据需求调整参数。团队还特别强调了数据结构的重要性，提供了清晰的目录结构示例，指导用户如何准备数据。
SHMT模型的推出，标志着自监督学习在化妆效果迁移领域的成功应用，未来有望在美容、美妆和图像处理等行业得到广泛应用。这项研究不仅展示了技术的潜力，同时也为相关领域的深入研究奠定了坚实的基础。
项目入口：https://github.com/Snowfallingplum/SHMT
划重点：
1. 🎓 SHMT模型利用潜在扩散模型实现化妆效果转移，已被NeurIPS2024接收。
2. 🔧 团队提供完整的开源代码和预训练模型，便于研究人员进行应用与改进。
3. 📂 数据准备和参数调整至关重要，研究中详细指导了操作流程和目录结构。
暂无评论