今天我要谈谈 Deep Fake 😱，我将解释First Order Motion算法是如何工作的。看完本文本后你也可以制作Deep Fake 视频。
AI 生成的假视频正变得越来越普遍（并且越来越像真的）并且最近一段时间出现了许多应用程序，这就是我们应该担心的原因。但是我们这里只讨论这种技术。
Deep Fake 包括以下步骤来制作换脸视频：
- 首先，两人的数千张面部照片将通过一种称为编码器的人工智能算法进行训练。
- 编码器发现并学习两张人脸之间的相似性，并将它们简化为共享的共同特征，并在此过程中压缩图像。
- 然后教第二个称为解码器的 AI 算法从压缩图像中恢复人脸。
- 因为人脸不同，你训练一个解码器来恢复第一个人的人脸，另一个解码器来恢复第二个人的人脸。
- 要执行面部交换，您只需将编码图像输入“错误”解码器即可。
- 例如，将人 A 的面部压缩图像输入到对人 B 进行训练的解码器中。
- 解码器然后用人脸 A 的表情和方向重建人 B 的脸。对于令人信服的视频，这必须在每一帧上完成。
在本文中，我将重点介绍First order motion算法
First order motion算法取决于将从源图像中提取的外观与从待合成视频中提取的运动模式相结合。该算法做了两个过程：
第一个过程：运动提取
- 通过面部关键点检测器从原始视频和目标照片中提取运动和面部表情。
- 匹配视频和照片之间的面部关键点。
- 对于视频中的每一帧，变换目标每张目标照片。
- 在另一个模型（Dense Motion）中传递这些帧以提取源照片的运动和照明。
- 换句话说，Dense Motion模型生成光流和遮挡图。
第一个过程：生成器
Generator 是另一个模型，它获取照片、灯光和运动的信息，并渲染最终结果。
First order motion是最简单、最快的 deepfake 算法。当然，还有更复杂的算法。视频输出的分辨率越高，训练时间越长。
我尝试了这个算法并得到了这个结果。制作这个视频，我只用了五分钟。结果还不够强，但足以了解 deepfake 是如何工作的。
如今，很容易从政客和公众人物那里制作假视频/演讲，并在社交媒体上分享这段视频。会更难找到真相。我们需要一种算法来检测其他算法在做什么。
以下是论文地址和本文的代码：
https://arxiv.org/abs/2003.00196
https://github.com/AliaksandrSiarohin/first-order-model
如果你想在线使用，这里有个colab连接可以直接查看：
https://colab.research.google.com/github/AliaksandrSiarohin/first-order-model/blob/master/demo.ipynb
本文作者：Amr Schemali