stable diffusion webui ubuntu 安装和教程

0.环境：

cuda:11.8

gpu:p40

torch:2.2.0+cu118

python:3.10.12

1.git clone 下来

GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UIStable Diffusion web UI. Contribute to AUTOMATIC1111/stable-diffusion-webui development by creating an account on GitHub.https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

2.conda create -n sd python=3.10.12

3. cd stable-diffusion-webui & bash webui.sh

出现错误

（1）RuntimeError: Torch is not able to use GPU; add --skip-torch-cuda-test to COMMANDLINE_ARGS variable to disable this check

解决方法：GPU用不了，可能是驱动的问题，可以在stable-diffusion-webui/modules/launch_utils.py

317行：prepare_enviroment():

修改torch和torchvision版本

（2）Command: "git" clone --config core.filemode=false "https://github.com/Stability-AI/generative-models.git" "............/stable-diffusion-webui/repositories/generative-models"

解决方法：服务器无法连接github服务器，先在本地下载git clone https://github.com/Stability-AI/generative-models.git,然后放入stable-diffusion-webui/repositories/generative-models/文件中

(3)Installing requirements卡住不动:耐心等待，在pip装相关库。

(4)Downloading: "https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors" to stable-diffusion-webui/models/Stable-diffusion/v1-5-pruned-emaonly.safetensors:可能没有科学上网下不了，必须科学上网，直接把https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors下载，然后放入相应的位置；

(5).openai/clip-vit-large-patch14下载不了:

直接在https://huggingface.co/openai/clip-vit-large-patch14/tree/main

下载，然后在stable-diffusion-webui，mkdir openai/clip-vit-large-patch14文件，把huggingface下载的文件放进入

(6) 安装xformer要注意版本，不能让其重装torch，不然，整个环境可能会崩掉：

pip3 install -U xformers==0.0.24 --index-url https://download.pytorch.org/whl/cu118

4.安装完成后：source venv/bin/activate 激活python虚拟环境，然后bash webui.sh --xformers

5.使用教程

（1）.prompt相关，可以参考以下教程：

Stable Diffusion 关键词 tag 语法如何使用？ - 知乎

（2）.sd1.5和sdxl区别：

深入浅出完整解析Stable Diffusion（SD）核心基础知识 - 知乎

sdxl是两阶段生成器，加了个refiner，效果比sd1.5好，并且c站几乎把sdxl作为base model

以下为base model和refiner模型链接：

https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main

https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/tree/main

SDXL Base模型由U-Net、VAE以及CLIP Text Encoder（两个）三个模块组成，在FP16精度下Base模型大小6.94G（FP32：13.88G），其中U-Net占5.14G、VAE模型占167M以及两个CLIP Text Encoder一大一小（OpenCLIP ViT-bigG和OpenAI CLIP ViT-L）分别是1.39G和246M。

SDXL Refiner模型同样由U-Net、VAE和CLIP Text Encoder（一个）三个模块组成，在FP16精度下Refiner模型大小6.08G，其中U-Net占4.52G、VAE模型占167M（与Base模型共用）以及CLIP Text Encoder模型（OpenCLIP ViT-bigG）大小1.39G（与Base模型共用）。

（3) .stable diffusion webui 四种模型：

Stable Diffusion——Textual Inversion（TI）文本翻转和 Embedding 嵌入 - 知乎

• textual inversion ----- embedding model
• hypernetwork
• lora
• dreambooth

(4).插件：

采用代理下载：

stable diffusion webui国内无法安装扩展插件或者速度慢的解决 - 哔哩哔哩

插件会自动下载放在stable-diffusion-webui/extensions，重启webui.sh

(5)修改 ModelScope 默认缓存路径:

可能遇到home/.cache空间不够：

os.environ['MODELSCOPE_CACHE']='models/models_cache/'

(6)stable diffusion webui controlnet官方下载：

GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet

(7)prompt:

场景模板 (Scene Templates)

• 自然风光 (Natural Scenery)- 山脉 (Mountain Range)- 海滩 (Beach)- 乡村 (Countryside)
• 城市景观 (Urban Landscape)- 现代都市 (Modern City)- 历史古城 (Historic Town)- 工业区 (Industrial Area)
• 室内环境 (Indoor Environment)- 家居 (Home Interior)- 办公空间 (Office Space)- 餐厅 (Restaurant)

光线模板 (Lighting Templates)

• 自然光线 (Natural Light)- 晨光 (Morning Light)- 午后阳光 (Afternoon Sunlight)- 黄昏 (Dusk)
• 人造光线 (Artificial Light)- 室内照明 (Indoor Lighting)- 城市霓虹 (Urban Neon)

镜头模板 (Lens Templates)

• 视角 (Viewpoint)- 鸟瞰 (Bird's Eye View)- 眼平视角 (Eye Level View)- 低角度 (Low Angle)
• 焦距 (Focal Length)- 广角镜头 (Wide-Angle Lens)- 标准镜头 (Standard Lens)- 长焦镜头 (Telephoto Lens)

情感模板 (Emotion Templates)

• 快乐 (Happiness)- 明亮的色彩 (Bright Colors)- 活力的场景 (Vibrant Scene)- 笑容的人物 (Smiling Figures)
• 悲伤 (Sadness)- 阴郁的色调 (Gloomy Tones)- 孤独的场景 (Lonely Scene)- 沉思的表情 (Contemplative Expression)
• 神秘 (Mystery)- 暗色调 (Dark Tones)- 阴影 (Shadows)- 未知的环境 (Unfamiliar Environment)