这几天,一部名为《 完蛋!我被美女包围了!》的游戏爆火了。这是一款全动态影像单人视觉小说游戏。
视觉小说,能否用生成式AI来制作?
我之前一直想测试#视觉小说工作流,今天抽空花了2个小时快速地验证下整体的流程。
主要使用了以下几种工具/技术:
Ren'Py
Ren'Py是一个开源的视觉小说引擎——帮助你使用文字、图像和声音来讲述互动故事。类似于Markdown语言,提供了易于使用的脚本语言,任何人都可以高效地撰写大型视觉小说。
LLM - ChatGPT
自发布以来,展示了非常强大的文字生成能力,可以根据规则和任务要求执行文本的生成任务。
MixCopilot
知识引擎,提供AI工作流编辑和执行功能,完成AI使用流程的自动化。
ComfyUI
基于Stable diffusion的节点式UI,低显存占用,完成SD使用流程的自动化。
测试的DEMO效果如下视频所示:
创建游戏
使用Ren'Py新建游戏,主要修改script.rpy文件。
visual code编辑器里安装插件
所涉及的语法,本次主要包括人物定义,对白,旁白,图像和转场。
把生成的文字粘贴到script.rpy 里,重新加载游戏,体验下效果:
接下来,填充视觉小说的剧情对白和图像。
# 编写prompt
设计prompt,实现故事的生成和格式化。
1 / 生成故事
2 / 让LLM学会输出renpy文件格式
# 搭建工作流
使用 MixCopilot 的用户输入和自定义 prompt 节点,完成文字生成工作流。
有了稳定的工作流,我们开始批量生产制作100款。
故事工作流:
# 图像生成工作流实现
使用 Comfyui 生成图像的工作流搭建,先把生成的故事,继续让 LLM 来描绘里面的画面,使用简单的 prompt,比如:“描绘下 medieval_forest 的画面”。把AI返回的图像描述粘贴到 Comfyui 的文字输入里,依次创建不同图像的生成流程。
本次实验耗时不多2小时完成了全部流程,整个流程还有很大的优化空间,主要包括:
renpy脚本生成的语法规则细化,比如人物出现在画面哪个位置这个语法的添加:
show xiaoming at right
人物表情的生成,需要在脚本生成时考虑不同的表情,并输出图像的描述。
图像描述生成,需要在脚本生成的时候,同时把涉及的场景、人物等图像描述,分类输出,供comfyui节点使用。
针对场景、人物的模型优化,游戏风格、人物角色的一致性、场景细节等等需要分别优化。比如,针对人物,还需要优化抠图细节,避免破损等情况。
生成式人工智能让我们拥有了豪华的文案和具有创意的视觉团队,通过工作流的搭建,实现了流程的自动化,让创作具备了产品化的可能。如果你对工作流感兴趣,欢迎交流。
版权归原作者 shadowcz007 所有, 如有侵权,请联系我们删除。