个人主页:【😊个人主页】
文章目录
前言
DALL-E 2 是一种基于语言的人工智能图像生成器,可以根据文本提示创建高质量的图像和艺术作品。它使用CLIP、先验和 unCLIP 模型来生成图像,其质量取决于文本提示的具体性。这也是我今天要介绍的主角
什么是DALL-E 2 ?
DALL-E 2是一款人工智能图像生成器,它可以根据自然语言的文本描述创建图像和艺术形式。简单来说,它是一个根据文本生成图像的人工智能系统。2021年1月,OpenAI 推出了 DALL-E 模型,DALL-E 2 是其升级版。“DALL-E”这个名字源于西班牙著名艺术家Salvador Dalí 和广受欢迎的皮克斯动画机器人 “Wall-E” 的组合。2022年7月,DALL-E 2 进入测试阶段,可供白名单中的用户使用。同年9月28日,OpenAI 取消了白名单的要求,推出了任何人都可以访问并且使用的开放测试版。
DALL·E2是OpenAI创建的语言模型的第二个版本,能够从文本描述中生成图像。它基于与GPT-3相同的架构,GPT-3是一种广泛使用的自然语言处理模型,但已在图像字幕对的大型数据集上进行了训练,以生成与给定描述相对应的图像。与前代DALL·E类似,DALL·E2能够生成各种各样的图像,包括物体、场景,甚至抽象概念。
介绍的怎么厉害,它又能干啥呢?
基本功能
- 图像生成:可以根据文本描述生成图片,也可以通过图片生成相关的文本描述。
- 图像编辑:可以对生成的图片进行编辑,例如改变颜色、添加/删除物体等。
- 图像转换:可以将某种图像转换成另一种图像,例如将手绘图转换成真实图片。
- 图像分类:可以将图片分类到不同的类别中。
- 物体检测:可以检测图片中的物体,并给出它们的类别和位置信息。
- 语义分割:可以将图片中的物体分割出来。
- 图像识别:可以对图片进行识别,例如识别人脸、车辆等。
- 图像压缩:可以将图片压缩成更小的尺寸,同时保持较好的图像质量。
新功能
编辑
DALL-E 2的一个值得关注的新功能是编辑,用户可以从现有图片开始,选择一个区域,然后告诉模型对其进行编辑。
编辑功能的演示,DALL-E 2在一个现有图片的房间角落加一个火烈鸟摆设
2021年DALL-E的text to image生成效果,让人们一窥多模态的潜力,也带动着多模态图像合成与编辑方向的大火,前有 DALL-E、GauGAN2,后有统一的多模态预训练模型“女娲”。这些连接文本和视觉领域的技术创新使我们更接近实现多模态AI系统。
OpenAI表示将继续在该系统的基础上进行开发,同时检查图像生成中的偏见或错误信息的产生等潜在危险。
OpenAI试图通过技术保障措施和新的内容政策来解决这些问题,同时还降低了计算负载,推进了模型的基本功能。
变体功能
用户可以上传一张起始图片,然后创建一系列类似的变体,还可以混合两个图像,生成具有这两种元素的图像。
“一碗看起来像怪物、用羊毛织成的汤”
DALL-E 2基于CLIP,一个由OpenAI去年发布的计算机视觉系统。OpenAI推出的两个连接文本与图像的神经网络DALL-E 和 CLIP中,DALL-E 可以基于文本直接生成图像,而CLIP 则能够完成图像与文本类别的匹配。
CLIP embeddings 具有许多理想的特性:对图像分布变化具有鲁棒性,并且已经过微调以在各种视觉和语言任务上实现最先进的结果。同时,diffusion models已经成为一种有前途的生成建模框架,推动了图像和视频生成任务的最新技术。在这项工作中,OpenAI团队结合这两种方法来解决文本条件图像生成问题。
OpenAI研究科学家Prafulla Dhariwal表示:“DALL-E 1刚刚从语言中采用了GPT-3方法,并将其应用于生成图像:我们将图像压缩成一系列单词,然后才学会预测接下来会发生什么”。
但是单词匹配并不一定能捕捉到重点,而且预测过程限制了图像的真实性。
CLIP的设计目的,是以人类的方式查看图像并总结其内容,而OpenAI在这个过程中迭代创建了 “unCLIP”——一个以描述开始并朝着图像生成目标运行的版本。
DALL-E2使用一种 diffusion model 生成图像,Dhariwal将其描述为从“一袋点状物”开始,然后以越来越大的细节填充图案。
一份关于unCLIP的研究表示,它部分地躲开了CLIP一个非常有趣的缺点:人们可以通过在一个对象(比如史密斯奶奶的苹果)上标记一个表示其他东西(比如iPod)的单词,来愚弄模型的识别能力。
总结
除此之外,DALL·E 2仍具有许多有趣的功能值得我们去开发,我们也期待未来它给我们带来更亮眼的表现。
Dhariwal表示:“我们希望继续进行分阶段的过程,这样就可以不断从得到的反馈中评估如何安全地发布这项技术”。
参考文献
DALL·E 2官网
版权归原作者 许思王 所有, 如有侵权,请联系我们删除。