图片、视频修复并超分 - Real-ESRGAN项目使用（一） | 机器学习

前段时间一直在弄golang，很少关注一些开源项目。正巧碰到一个，可以将模糊的照片或者视频修复清晰，且可以超分处理的项目。

项目github地址：GitHub - xinntao/Real-ESRGAN: Real-ESRGAN aims at developing Practical Algorithms for General Image/Video Restoration.

看一下项目给出的效果图。

可以看出模型对于动漫插画也有不错的效果。

项目也列举了一些类似的项目，可以看到GFPGAN也在列。

如果大家对GFPGAN也感兴趣的话，可以参考我的另一篇文章去了解一下。

如何将模糊照片人脸恢复清晰，GFPGAN机器学习开源项目使用 | 机器学习_剑客阿良_ALiang的博客-CSDN博客

本篇文章主要对该项目进行一些简单的使用。

下载执行文件

可以直接下载项目的执行程序来跑跑看。

如果下载不了的，可以使用我下面的链接。

链接：https://pan.baidu.com/s/1Vqzp4ylIf-YB-Bw0PVrYog
提取码：tuan

测试使用

解压后的目录结构如下图。

我们可以通过README文件，了解如何使用。

图片测试修复超分

我们看一下提供的图片及其分辨率。

打开CMD进入到文件夹位置。

执行命令如下：

realesrgan-ncnn-vulkan.exe -i input.jpg -o output.png -n realesr-animevideov3

执行结果如下，可以看到具体的进度。

最终生成了处理好的图片output.png，我们看一下生成的图片及其分辨率。

可以看到不管是清晰度还是分辨率都有提升。

视频测试修复超分

视频需要使用到ffmpeg进行视频拆分处理，如果没装过ffmpeg的，可以参考我的这篇文章。

windows ffmpeg安装部署_剑客阿良_ALiang的博客-CSDN博客_ffmpeg windows安装

先创建两个目录用来存放拆分和处理的图片帧。

先看一下提供的视频画面及其分辨率。

按照README里面的说明，分为三步来处理。

step1

ffmpeg -i onepiece_demo.mp4 -qscale:v 1 -qmin 1 -qmax 1 -vsync 0 tmp_frames/frame%08d.jpg

执行后tmp_frames目录产生了拆分后的图片帧。

step2

realesrgan-ncnn-vulkan.exe -i tmp_frames -o out_frames -n realesr-animevideov3 -s 2 -f jpg

这一步执行的时间会比较长。

step3

ffmpeg -i out_frames/frame%08d.jpg -i onepiece_demo.mp4 -map 0:v:0 -map 1:a:0 -c:a copy -c:v libx264 -r 23.98 -pix_fmt yuv420p output_w_audio.mp4

将out_frames内的图片压缩为视频，看一下最后的视频质量。

可以看出清晰度和分辨率也有了不小的提高。

总结

这个项目比较吸引我的还是其对动漫插图的支持，有专门的模型。

最近在学习第一性原理，我好好思考了一下。其实我们在归纳法和演绎法两种方法层面，只是下意识的会选择第一种。还是要多站在事情之外，调整自己的思考方式，才能有更多的视野。