近日,针对如何解决所有姿势范围内的面部替换,中科院自动化所的研究人员发表了一篇论文,提出了3D实时解决方法。
面部对齐使面部模型适合图像并提取面部像素点的语义,已成为计算机视觉领域中的一个重要主题。此前,大多数算法都是针对中小姿态(偏角小于45度)的面部而设计的,缺乏在高达90度的大幅度姿态中对齐面部的能力,这一论文就是针对所有姿态范围内的面部替换所提出来的方法。
而此次这位博士生提出的改进版本还增加了一些额外的工作,包括实时培训、培训策略等,而不仅仅是重新实现“3D实时换脸”。更详细的内容未来将会发布在相关博客中,包括一些重要的技术细节。到目前为止,这个改进版本发布了预训练第一阶段的pytorch模型,其中包括MobileNet-V1结构、训练数据集和代码。在GeForce GTX TITAN X上,每张图像的推理时间约为0.27毫秒(输入批量为128 的情况下)。
这一改进版本帮助Pytorch改进了论文《所有姿态范围内的面部替换:3D解决方案》中提到的方法。该论文的作者之一是来自中科院自动化所的Xiangyu Zhu,根据其个人主页上的信息,他和cleardusk博士期间的导师均是李子青教授,二人可以说是同门师兄弟。
近日,Github一位作者cleardusk(目前是中科院自动化所的在读博士生)将“3D实时换脸”PyTorch实现改进版,每张图的推理时间只需0.27毫秒!
那么,改进版能实现哪些应用呢?
首先,它能够实现面部对齐。
其次是面部重塑,实现“变脸”!