导读 三星实验室的一组研究人员已经开发出改进的神经头像技术，分辨率达到百万像素。使用动画驾驶图像，该团队提出了一套新的神经架构和训练方法
三星实验室的一组研究人员已经开发出改进的神经头像技术，分辨率达到百万像素。使用动画驾驶图像，该团队提出了一套新的神经架构和训练方法来应对“特别具有挑战性的交叉驾驶合成任务”。
该团队已经开发了令人信服的历史人物甚至一些现代名人的神经化身。神经架构采用提供的驾驶图像，这是一个人做出不同面部表情和动作的视频。然后，它适用于静态图像，如绘画肖像或照片。然后，系统将静态图像转换为运动图形，其中主体的头部和面部对应于驾驶图像的运动。
该系统的独特之处在于其令人印象深刻的分辨率以及可以使用“一次拍摄”创建动画头像的事实。百万像素肖像，简称MegaPortraits，依赖于两阶段的训练。该团队将其培训设置描述为“相对标准”。它涉及在每个步骤中从其数据集中采样两个随机帧，提取一个源帧和一个驱动程序帧。然后，该模型“将驱动帧的运动(即头部姿势和面部表情)强加到源帧的外观上，以产生输出图像。学习信号是使用训练情节构建的，其中源帧和驱动程序帧出现在同一视频中。
该团队认为，其方法是第一个实现令人印象深刻的百万像素分辨率的方法。该系统有两个主要限制。首先，用于训练的 VoxCeleb2 和 FFHQ 数据集主要包括正面视图或近额视图。在渲染非正面头部姿势的情况下，质量会下降。第二个限制是一些时间闪烁，如上面的视频所示。这种闪烁是由于高分辨率图像仅限于静态视图。