0


星海AI-GPU算力云平台【FunClip】云部署

FunClip是由阿里达摩院精心打造的一款完全开源、本地部署的自动化视频剪辑工具。它依托于阿里巴巴通义实验室的FunASR Paraformer系列模型,实现了视频中语音的自动识别。

FunClip让用户能够根据识别结果,轻松选择文本片段或特定说话人,从而快速裁剪出所需视频片段。

FunClip的特色功能包括集成高精度的中文ASR模型、支持热词定制化、说话人识别,以及提供Gradio交互界面,大大简化了视频剪辑复杂度。此外,FunClip还支持多段剪辑,并且能自动为视频生成SRT字幕文件。

1、前置准备

在星海平台创建实例,实例的具体创建步骤详见星海快速使用教程:

(评论留言编者:快速使用教程,便可获取)

实例创建成功后,win+r输入cmd,打开终端,通过SSH连接服务器:

输入用户名和密码之后,成功进入服务器,准备进一步部署和调试

2、项目部署

FunClip github地址:

https://github.com/alibaba-damo-academy/FunClip.git

2.1 从Github克隆项目

为了使克隆过程更加快速,推荐使用学术加速,命令如下:

git clone https://github.com/alibaba-damo-academy/FunClip.git
source /etc/network_turbo

使用ls命令查看root文件夹下是否存在FunClip文件夹,如果存在说明克隆成功,如果失败请重新使用clone命令或者添加国内镜像下载

在完成下载之后,需要安装相关依赖,命令如下:

依赖安装完成之后,即可启动程序:

python funclip/launch.py

Ruuning on local URL: http://127.0.0.1:7860说明通过7860端口可以进行访问,接下来需要使用ssh隧道将8888端口连接到7860端口以实现本地web访问

2.2 错误解决

当执行python funclip/launch.py命令时 当出现下边代码所示的错误,原因为代理问题,需要手动添加代码

When localhost is not accessible, a shareable link must be created. Please set share=True. 
unset http_proxy
unset https_proxy

3、本地部署web访问

3.1 使用终端通过SSH进行访问

3.1.1 打开你的终端或命令提示符。

3.1.2 执行SSH命令。

3.1.3 假设:

  • 远程服务器的IP地址是your-server-ip。

  • 你在远程服务器上的用户名是root。

  • 远程服务器上Stable Diffusion应用运行的端口是7860。

  • 你想要将此服务映射到本地机器的8888端口。

3.1.4 命令格式如下:

ssh -CNg -L 8888:localhost:7860 root@your-server-ip -p 22

3.2 结果演示

通过输入localhost:8888在浏览器中进行访问:

3.3 项目插件安装

根据官方手册,如果希望使用自动生成字幕的视频裁剪功能,需要安装imagemagick,代码如下:

  • Ubuntu系统
apt-get -y update && apt-get -y install ffmpeg imagemagick
sed -i 's/none/read,write/g' /etc/ImageMagick-6/policy.xml

  • 1MacOS系统
brew install imagemagick
sed -i 's/none/read,write/g' /usr/local/Cellar/imagemagick/7.1.1-8_1/etc/ImageMagick-7/policy.xml 
  • Windows系统

首先下载并安装imagemagick

https://imagemagick.org/script/download.php#windows

然后确定您的Python安装位置,在其中的site-packages\moviepy\config_defaults.py文件中修改IMAGEMAGICK_BINARY为imagemagick的exe路径

之后下载你需要的字体文件,可以使用官方文档提供的默认黑体字体文件

wget https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ClipVideo/STHeitiMedium.ttc -O font/STHeitiMedium.ttc

关于星海算力云 https://ai.spacehpc.com/

欢迎使用星海算力云,星海算力云由北京三轴空间科技有限公司开发,由非盈利组织龙游星海算力产业中心运营的高性能GPU算力云平台。

星海团队长期致力于为图像渲染、科研高性能计算等提供服务。星海AI算力服务平台,获超高速增长,团队规模有100余人,服务了国内AI行业的许多一线团队。

FunClip的主要功能

自动化语音识别:通过使用阿里巴巴通义实验室的FunASR Paraformer系列模型,FunClip能将视频中的语音内容转换为文本。

热词定制化:利用集成的SeACo-Paraformer模型,用户可以自定义一些专业术语、品牌名称或人名等作为热词,提高这些词汇的识别准确性。

说话人识别:通过集成的CAM++说话人识别模型,FunClip可以识别视频中不同说话人的ID,方便用户剪辑出特定说话人的视频片段。

视频裁剪:用户可以基于识别的文本片段或特定说话人,一键裁剪出目标视频片段。

Gradio交互界面:FunClip提供了基于Gradio的交互式界面,用户只需通过浏览器即可轻松完成视频剪辑。

多段剪辑支持:FunClip不仅支持单段剪辑,还允许用户进行多段视频剪辑,提升了编辑效率。

自动生成字幕:剪辑完成的视频将自动配有SRT字幕文件,既适用于全视频,也适用于剪辑出的特定段落,为字幕编辑提供便利。

命令行调用:除了图形化界面,FunClip还提供了命令行操作方式,为高级用户提供更多灵活性。


本文转载自: https://blog.csdn.net/2402_84709675/article/details/139324207
版权归原作者 AI探索家_星海算力 所有, 如有侵权,请联系我们删除。

“星海AI-GPU算力云平台【FunClip】云部署”的评论:

还没有评论