一年一度的IEEE 举办的计算机视觉及人工智能领域顶级学术会议CVPR2024 （IEEE Conference on Computer Vision and Pattern Recognition）录用结果公布，上海学深智能科技有限公司联合上海交通大学人工智能研究院，在虚拟数字人生成技术领域持续创新，共有两篇工作被接收。

单目人脸PBR贴图生成算法

研发的ID2Reflectance算法，能够从单张图像生成人脸几何与对应的贴图（diffuse/roughness/specular/normal，并能够直接应用到专业引擎中，与现有CG通用流程相结合，能够直接应用于游戏、元宇宙、数字人等行业。该研究成果以“Monocular Identity-Conditioned Facial Reflectance Reconstruction”为题被CVPR 2024会议接收。

工作链接：https://xingyuren.github.io/id2reflectance/

在本算法中，我们学习了图像空间而不是 UV 空间中的反射率先验，并提出了一个名为 ID2Reflectance 的框架。 我们的框架可以直接估计单个图像的反射率图，同时使用有限的反射率数据进行训练。 我们的主要见解是反射率数据与 RGB 面部共享面部结构，这使得能够从廉价的 RGB 数据中获得富有表现力的面部先验，从而减少对反射率数据的依赖。 我们首先学习面部反射率的高质量先验。 具体来说，我们预训练多域面部特征码本，并设计一种码本融合方法来对齐反射率域和 RGB 域。 然后，我们提出了一个身份条件交换模块，将目标图像中的面部身份注入到预先训练的自动编码器中，以修改源反射图像的身份。 最后，我们缝合多视图交换反射图像以获得可渲染资源。 大量的实验表明，我们的方法表现出出色的泛化能力，并为通用人脸实现了最先进的面部反射率重建结果。

三维人脸图像编辑算法

研发了基于三维生成模型的人脸编辑算法FaceEdit3D，能够对任意人脸进行交互式的人脸编辑，实现人脸的脸型、表情、朝向、风格等属性的编辑，并且保留照片的原有细节。该研究成果以“3D-Aware Face Editing via Warping-Guided Latent Direction Learning”为题被CVPR 2024会议接收。

工作链接：https://cyh-sj.github.io/FaceEdit3D/

我们的算法允许用户直接操作3D点来编辑3D脸部，实现自然、快速的脸部编辑。 在用户操纵一个或多个点后，我们提出三平面扭曲来直接使与视图无关的 3D 表示变形。 为了解决三平面扭曲引起的失真问题，我们训练了扭曲感知编码器将扭曲的面投影到标准化的潜在空间上。 在这个空间中，我们进一步提出定向潜在编辑，以减轻编码器引起的身份偏差，并实现各种属性的解缠结编辑。 大量的实验表明，我们的方法取得了优异的结果，具有丰富的面部细节和良好的身份保留。 我们的方法还支持通用应用程序，例如多属性连续编辑和猫/汽车编辑。