MagicQuill：蚂蚁集团联合多所高校共同开源的 AI 互动式图像编辑工具

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

1. MagicQuill 是一款由香港科技大学、蚂蚁集团、浙江大学和香港大学共同开发的智能互动图像编辑工具。
2. 提供 AI 支持的智能建议、精确的局部编辑和多种画笔功能。
3. 支持参数调整，增强编辑灵活性和精准度。

正文（附运行示例）

MagicQuill 是什么

MagicQuill 是香港科技大学、蚂蚁集团、浙江大学和香港大学共同推出的开源 AI 互动式图像编辑工具。基于用户友好的界面和 AI 支持的智能建议，实现精确的局部图像编辑。用户用简单的笔触和提示词，轻松添加元素、擦除物体或改变颜色，让图像编辑变得简单、智能且高效。

MagicQuill 的主要功能

• AI 支持的智能建议：基于 AI 算法预测用户意图，提供编辑建议，简化操作流程。
• 精确的局部编辑：支持像素级别的精确编辑，包括元素插入、物体擦除和颜色调整。
• 三种魔法笔刷： - 添加笔刷：根据提示词添加细节和元素。- 减去笔刷：根据提示词去除多余的细节或重新绘制区域。- 颜色笔刷：精确地为图像上色，匹配笔刷的颜色。
• 画布工具：提供撤销、重做、旋转、调整大小等工具，增强编辑灵活性。
• 参数调整：支持用户调整生成结果的参数，如基础模型选择、负提示、边缘控制等。

MagicQuill 的技术原理

• 多模态大语言模型（MLLM）：MagicQuill 用 MLLM 实时监测和预测用户的编辑意图，减少或消除手动输入提示的需求。
• 扩散模型（Diffusion Model）：基于扩散模型的强大先验，从数据分布中学习并生成新的数据实例。
• 双分支插件模块：基于精心学习的双分支插件模块来增强扩散模型，实现对编辑请求的精确控制。
• 实时意图预测：系统通过分析用户的笔触和输入的提示词，实时预测用户的编辑意图，并自动生成编辑指令。
• 精确控制编辑：结合 MLLM 和扩散模型，MagicQuill 能够精确处理用户的编辑请求，实现精确的图像编辑效果。

如何运行 MagicQuill

硬件要求

• 运行 MagicQuill 需要 GPU。
• 实时提示猜测（“Draw&Guess”）需要约 5GB VRAM。
• 图像编辑操作需要约 15GB VRAM。

对于 GPU 资源有限的用户，请尝试我们的 Huggingface Demo 或 Web Demo (Alipay Cloud)。

安装步骤

1. 克隆仓库

git clone --recursive https://github.com/magic-quill/MagicQuill.git
cd MagicQuill

1. 下载并解压检查点

wget -O models.zip "https://hkustconnect-my.sharepoint.com/:u:/g/personal/zliucz_connect_ust_hk/EWlGF0WfawJIrJ1Hn85_-3gB0MtwImAnYeWXuleVQcukMg?e=Gcjugg&download=1"unzip models.zip

如果 .zip 文件无法访问，可以通过浏览器下载。所有检查点总计约 25GB。可以考虑从 huggingface 获取检查点。 3. 创建环境

conda create -n MagicQuill python=3.10 -y
conda activate MagicQuill

1. 安装界面

pip install gradio_magicquill-0.0.1-py3-none-any.whl

1. 安装 llava 环境

cp -f pyproject.toml MagicQuill/LLaVA/
pip install -e MagicQuill/LLaVA/

1. 安装剩余环境

pip install -r requirements.txt

1. 运行 MagicQuill

CUDA_VISIBLE_DEVICES=0 python gradio_run.py

如果你是中国大陆用户，可以尝试

export HF_ENDPOINT=https://hf-mirror.com

以使用 huggingface 镜像加速必要检查点的下载。

资源

1. 项目官网：https://magicquill.art
2. GitHub 仓库：https://github.com/magic-quill/MagicQuill
3. arXiv 技术论文：https://arxiv.org/pdf/2411.09703
4. 在线体验 Demo：https://magicquill.art/demo/

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦