从零开始之AI视频制作篇

从零开始之AI视频制作篇

文章目录

前言

现在是2024年8月。虽然AI现在发展得很快，但离完全替代人类还是有部分的距离。AI作为提高效率的工具确实是不争的事实。本文将详细描述在这个时间节点上可达到的基于图片的AI视频制作的整个流程，适合小白食用。

一、工具列表

基于图片的AI视频制作需要准备的工具列表有：

• 图片素材 本文采用的图片素材来源（已获许可）：汐木桃ART的木桃日记
• 图片生成视频的平台 Runway Gen3传送门（本文采用） Luma Dream Machine传送门 可灵AI传送门 即梦AI传送门 清影AI传送门
• TTS工具 TTS工具用于根据文本内容生成语音。 Fish Audio传送门 (本文采用) Cosy Voice传送门 ChatTTS的autodl云平台部署版传送门
• 视频剪辑工具 adobe premiere pro （本文采用） 剪映

二、成片展示

木桃日记

三、制作流程

1、获取图片素材

可通过国内各个文生图的平台生成，或者通过自己搭建webui/comfyui云平台服务进行创作生成。webui的autodl云一键部署传送门、comfyui的autodl云一键部署传送门，本文采用的图片素材来源（已获许可）：汐木桃ART的木桃日记。如果需要去水印，可用WPS等工具，或者用comfyui搭建一个去水印的工作流操作。comfyui去文字和水印的工作流可供参考：去水印和文字工作流传送门

2、图片生成视频

本文采用的是Runway平台，因此针对如何在Runway平台操作图片生成视频进行详解。

2.1 Runway操作流程

通过 Runway官网传送门 进入Runway后便可看到如下界面。

点击右上角的【Get Started】按钮后，便可进入登陆界面，此时需要一个账号才可使用，如果用 Gen2 可以自己注册个账号，有 免费试用额度。如果是用Gen3，就需要在某宝或某鱼上租用账号。

进入Runway官网后，便可看到如下的控制台，其中的【Assets】表示的是存放的你正在生成和已经生成的视频。【Tools】表示的是可以试用的工具。

我们需要使用的是【Tools】下的【Text/Image to Video】工具，点击进入即可。可以看到如下的工作台。


因为我们采用的是Gen3模型，所以我们的【模型】选择的是【Gen-3-Alpha】。因为我们是用的是租用的账号，所以经常会有同时几个人在线的情况，这时就要看【Generate】按钮是否可按，只要可按，不要犹豫，立即按下 即可。

因为图片生成视频时，需要对生成的视频进行描述，从而让生成的视频符合我们的构想。所以需要填写提示词来让大模型进行参考。

最好将如下图片中的【guide】链接打开，里面有【运镜】、【特效】等的专业术语提示词可以让大模型更好的理解。Gen-3提示词官方指南

提示词指南中需要注意提示词的基本构造结构，如下图所示。

图中的案例部分：

Low angle static shot: The camera is angled up at a woman wearing all orange as she stands in a tropical rainforest with colorful flora. The dramatic sky is overcast and gray.

其中【camera movement】 部分可参考【官方提示词指南】的【Camera Styles】部分。

部分提示词参考可见文章末尾。

写好提示词后，点击【Generate】，平台右面部分会有个视频生成的进度展示，生成后也会展示在右面。

视频生成后便按下图所示，点击下载按钮，进行下载。

如果生成视频不理想，同一个提示词可多生成几次，如果还是不理想就得调整提示词再试试。在此祝各位好运连连。

3、文本生成语音

本文采用的是Fish Audio传送门 ，这个每天有50次的免费生成次数，短视频基本够用。

3.1 Fish Audio操作流程

登录进入后，便可看到各个声音角色的列表，选择想使用的声音角色，点击【使用声音】即可。
进入对应的角色页面后，便可参考下图步骤将文本填入对应文本框中，点击【创建】即可生成。

生成后按下图所示步骤即可将生成的声音文件进行下载。

4、视频剪辑

视频素材和旁白的音频素材准备好了，就可以进行视频剪辑了。如果是视频剪辑小白，可参考b站up主【京译达雅】的【【pr教程】新版本全套56集学不会你找我】教程，可选择性学习。pr教程b站传送门。

4.1 音频素材

如果剪视频的时候需要相关的音频素材，比如本文的剪辑视频中需要的夏夜的蝉鸣声、森林的蝉鸣声的素材，可通过如下几个音频素材网站进行搜索下载使用：淘声网传送门、耳聆网传送门、爱给网传送门。

4.2 字幕生成

如果剪辑的时候需要生成对应的字幕，可参考b站up主【Leo叔叔爱摄影】的字幕生成教程，可选择性学习。职业博主快速制作视频字幕的最佳方案，PR2023字幕最详细攻略，语音自动识别，批量制作字幕效果【PR零基础新手指南65集】，另外PR 2023已经支持一键语音转字幕功能了。

四、Runway提示词参考：

图片描述：A person in a crowd
提示词：Cinematic view of [a human subject with detailed descriptions of their appearance] walking through a blurry crowd. [Describe their action]. 30x speed, hyperspeed, fast motion. In the style of [describe style; ex. Moody colors, cinematic feel, dynamic motion, depth of field].

图片描述：Cinematic drone
提示词：First person view shot of a [subject]. hyper-speed fly, dynamic motion, dynamic blur, timelapse, 30x speed. In the style of [describe style; ex. cinematic, muted color palette].

图片描述：Close up
提示词：Telephoto close up: [subject].

图片描述：Close-up portrait
提示词：A crash zoom into a close-up portrait, shallow depth of field, bokeh. In the style of [describe style; ex. muted color palette, neutrals, magic hour, dull, dramatic, moody, film, 35mm].

图片描述：Dynamic motion
提示词：Dynamic motion, dynamic blur, 30x speed, unsharp edges.

图片描述：Establishing wide
提示词：Extreme wide angle establishing shot: [subject] in vast [scene].

图片描述：Fast motion
提示词：High speed, motion blur, chaotic, kinetic, hyperkinetic.

图片描述：Fast zoom
提示词：Hyperspeed shot: [scene]. Camera movement: fast zoom.

图片描述：First person view
提示词：First person view shot flying through [objects ex. canyons] of a [place ex. planet] toward a [object ex. moon].

图片描述：Handheld
提示词：Handheld tracking shot, following a [subject] in a [place].

图片描述：High angle
提示词：Aerial tracking shot: glide over [place]. Camera Movement: Start high, descend closer to [place].

图片描述：Low angle
提示词：Low angle shot: A [subject ex. car] drives down the center of a [place ex. city]. Tall [objects ex. buildings] loom on either side, their [objects ex. windows] blurred in the background.

图片描述：Macro cinematography
提示词：Macro cinematography: A large [object ex. water droplet] rests among [objects ex. succulent plants]. The [object] refracts and distorts the view of the surrounding environment. Camera Movement: Start with a close-up of the [object], then slowly pull back to reveal more of the surreal [plant life].

图片描述：Nightlight portrait
提示词：Close-up shot of [a human subject with detailed descriptions of their appearance], the neon lights of Tokyo's bustling streets reflecting in the eyes. The face has a pensive expression, hinting at an untold story. The vibrant colors of the city paint the facial features in a mesmerizing interplay of light and shadow.

图片描述：Orbiting scenery
提示词：We orbit around [a subject in a scenic environment; ex. a monument on a hill overlooking a forest], hyper dynamic movement in orbiting motion, shallow depth of field, subject in focus. In the style of [describe style; ex. dark muted natural color palette, cinematic]

图片描述：Over the shoulder
提示词：Over the shoulder shot: [subject doing X]. The camera trails behind them.

图片描述：Portal transition
提示词：Flying through [a place] into [another place]. Fast motion, motion blur. In the style of [describe style; ex. hyperlapse cinematography].

图片描述：Realistic documentary
提示词：An award winning documentary about [a subject; ex. a bunny, a tree, or coral reefs], wide angle shot showcasing the [subject], dynamic movement, this video is incredibly detailed and high resolution, the sharp focus and cinematic light is impressive, a masterpiece.

图片描述：Slow motion
提示词：Slow motion shot: [a subject in motion].

图片描述：Surreal levitation
提示词：An extreme wide angle establishing shot from low angle level looking up at into the sky at sunset hours. [A subject; ex. a plastic bag, a shiny orb, or a goat] is floating slowly in the sky above, defying gravity. Extreme perspective, 3x speed. In the style of [describe style; ex. cinematic, muted naturals coloring, documentary film]

图片描述：Titles
提示词：The scene starts in [location; ex. soup] and then suddenly [object; ex. noodles] appears and begins to [action; ex. transforms] to form the word "[single object, ex. SOUP]", centered, superb cinematic lighting.

参考

• 汐木桃ART的木桃日记