0


探索【Stable-Diffusion WEBUI】的附加功能:图片缩放&抠图

文章目录

(零)前言

本篇单独讲解了WEBUI内置的附加功能:图片缩放——主要是默认4x的放大图片;还有同一页的抠图插件。
更多不断丰富的内容参考:🔗《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》

(一)附加功能(图片处理)

附加功能就是在文生图,图生图以外,对图片的其它处理。
在没有安装更多插件的时候,附加功能只有图片缩放。

(1.1)处理对象(Source)

  • 单张处理:相应的选项卡里,拖入单张图片。
  • 批量处理:相应的选项卡里,拖入多张图片。
  • 从目录批量处理:不打开图片,选择目录所在位置,处理目录下的全部图片。 如果从目录批量处理,则可以在设置中选择保留原来的文件名,很方便(可惜文件Tag不能保留)。

(1.2)缩放(Scale)

等比/指定分辨率缩放,不需要解释。

前面提到过,AI生成图片分辨率需要在一定范围,否则非常容易乱。
而且生成大图开销太大,不如生成完了正常尺寸,再用算法放大。

现在的各种算法很厉害了,基本上都是人工智能,效果很真实(觉得效果不够好,就自己调参数)。
比如生成的原图是800x600,如下:
在这里插入图片描述

放大4倍后的局部截图,仅作参考。
因为不同算法可能这个眼睛清楚,那个头发清楚,另一个嘴唇清楚。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
最后两个加入,纯粹是为了对比有参照物。

(1.2.1)缩放设置

不同的模型(算法)有不同的效果。
在这里插入图片描述

如果需要新的算法,比如上图的🔗4x-UltraSharp:
🌟需要下载对应模型。(手动下载放入目录也行)
下载完成的文件

4x-UltraSharp.pth

需要放入

你的SD-WEBUI目录\models\ESRGAN\

里面。

具体可以自己对比不同算法的效果,感觉上面这样比较真实。
可以选择首要算法(Upscaler 1),和附加算法(Upscaler 2)和它的权重(当然也可不选2)。

(1.2.2)缩放模型(Upscaler)

我们用作图软件时可以看到缩放算法,比如临近像素,两次线性,两次立方。
用这些缩放算法如果放大4倍人像,应该惨不忍睹,当然后来算法越来越强大。

  • Lanczos:将对称矩阵通过正交相似变换变成对称三对角矩阵的算法(它是个算法,写出来作为对比,正常不选它)。
  • ESRGAN:是对SRGAN(超分辨率网络,利用生成对抗网络的方法实现图片的超分辨)关键部分网络结构、对抗损失、感知损失的增强。《论文》,从这里开始就不是单纯的图像算法,进入人工智能的领域了。实测确实增加了很多看上去很真实的纹理,但是有时又会把一张图片弄得全是锯齿或怪异的纹理。可能对待处理的图片类型有要求。 模型:ESRGSN_4X在WEBUI中可选。
  • Real ESRGAN:完全使用纯合成数据去尽量贴近真实数据,然后去对现实生活中数据进行超分的一个方法。《论文》,腾讯的耶。 模型:R-ESRGAN 4x+在WEBUI中可选,模型可自动下载?我忘了,针对照片效果不错。 模型:R-ESRGAN 4x+ Anime6B在WEBUI中可选(需配置),模型可自动下载,针对二次元动漫效果不错,明显比Waifu_2X强。 模型:R-ESRGAN General 4xV3在WEBUI中可选(需配置),模型可自动下载,主要是小(但效果不好)可不用。
  • SwinIR:使用Swin Transformer思想,采用一个长距离连接,将低频信息直接传输给重建模块,可以帮助深度特征提取模块专注于高频信息,稳定训练。《论文》。 模型:SwinIR_4x在WEBUI中可选。
  • 4x-UltraSharp:(总算不是简称了)基于ESRGAN,生成了很多很多细节,并在图像上留下了很好的纹理,适合JPEG格式。我不知道具体的作者或者改进者,但是大家都说好应该是真的好了吧啊吧啊吧…… 模型:4x-UltraSharp在WEBUI中原本不可选,但可以自己下载模型(上面有地址),放好就有了。
  • LDSR:潜在扩散超分辨率模型,照片表现非常好。但模型体积巨大+速度超级慢。别人10秒vs它1000秒,还是模型已下载之后。 模型:LDSR在WEBUI中可选,模型可自动下载。
  • waifu2x:好像不在这里面,反正我这没有也没下载,主要用于二次元图片放大,顾名思义”你的老婆变2倍大“。

算法或者模型最终的判断,来自人的感觉,你觉得放大的图画到底”好不好“。
所以自己测试并选择最合适的参数吧。

(1.2.3)GFPGAN和CodeFormer

缩放模型选择下面还有这两个选项,你可能还记得它们是关于面部修复的东西。

  • GFPGAN:对眼睛和嘴巴的还原度非常高,且对大多数人像都能进行一定程度的还原,《论文》。
  • CodeFormer:基于Transformer+VQGAN的人脸重建方案CodeFormer,它可以对低质人脸的组成与上下文信息进行建模,促进自然人脸挖掘以生成与目标人脸更相近的结果。《论文》。

这两个修复如果选了,根据权重会有点改变图像,可自己尝试,也可以不开。

以上,其实我都不懂,如果发现介绍或引用错误,烦请指正。

(1.3)抠图(Remove background)

作用是移除背景。
它是个插件,安装好后界面位置出现在附加功能中,就在图片缩放的下面。
正常情况下移除背景,就不要再启用缩放功能了嘛。

⭐需要在WEBUI中安装插件。
WEBUI中可以查找rembg安装,参考:stable-diffusion-webui-rembg

🌟需要下载多个不同模型。(手动下载放入目录也行)
有好些个模型,比如:silueta.onnx,通用,人物,衣服,等等……

例子:
PS:这台电脑报错了,另一台才可以,不太懂,得等等放例子:

RuntimeError: D:\a\_work\1\s\onnxruntime\core\session\provider_bridge_ort.cc:1106 
onnxruntime::ProviderLibrary::Get [ONNXRuntimeError]:1: FAIL : 
LoadLibrary failed with error 126"" 
when trying to load "D:\Download\AIDraw\py310\lib\site-packages\onnxruntime\capi\onnxruntime_providers_tensorrt.dll"

另一台电脑(环境一模一样,硬件也差不多)。
如果你想要透明背景,则需要存为png,而不是jpg文件。
在这里插入图片描述


本文转载自: https://blog.csdn.net/ddrfan/article/details/130341905
版权归原作者 若苗瞬 所有, 如有侵权,请联系我们删除。

“探索【Stable-Diffusion WEBUI】的附加功能:图片缩放&抠图”的评论:

还没有评论