给ChuanhuChatGPT 配上讯飞星火spark大模型V2.0（一）

ChuanhuChatGPT 拥有多端、比较好看的Gradio界面，开发比较完整；
刚好讯飞星火非常大气，免费可以领取大概20w（！！！）的token，这波必须不亏，整上。

重要参考：

• 川虎 Chat 🐯 Chuanhu Chat
• 讯飞星火认知大模型

文章目录

1 讯飞星火大模型

1.1 web api申请

基本上实名认证后，可以申请个人免费包，然后来到控制台

开启应用，把APPID、APISerect、APIKey记下就可以去开启API了。
这里星火大模型有两个版本：V1.5 V2 免费Token都非常多

1.2 web api调用

因为官方给到的一直报错，这里也可以使用别人已经封装好的，
需要安装：

!pip install websocket 
!pip install websocket-client

参考这个开源：sparkdesk_api，安装：

pip install sparkdesk-api==1.3.0

直接流式调用：

from sparkdesk_api.core import SparkAPI
# 默认api接口版本为1.5，开启v2.0版本只需指定 version=2.1 即可
sparkAPI = SparkAPI(
    app_id=app_id,
    api_secret=api_secret,
    api_key=api_key,
    # version=2.1
)

# 流式调用
sparkAPI.chat_stream()

# 一次性问答调用
sparkAPI.chat("你想问什么？")

1.3 web api的参数

这里参考这篇文章：讯飞星火大模型 API 封装

1.4 一些报错

{"message":"HMAC signature does not match"

之前笔者报错过，原来是apikey和api_secret写反了…

还有以下的报错：

tearing down on exception can only concatenate str (not "TypeError") to str

也有可能是apikey 与 API secret写反了

2 川虎 Chat 🐯 Chuanhu Chat

环境需要：
一定需要python3.10，而且window/linux/mac都是可以的

部署的时候，如果不在本地下载大模型，可以不用安装GPU之类的。

2.1 川虎 Chat docker部署

笔者之前尝试的是直接使用chuanhu的docker，参考：使用 Docker 部署
但是chuanhu的docker有蛮多问题，如果要自己本地下载大模型，非常不建议使用他们提供的docker，GPU的一些配置需要额外自己配，然后里面的环境比较简单
如果要借用chuanhu下载本地大模型CHATGLM之类的，建议使用阿里云modelscope的docker，好用！ 参考：ModelScope 官方提供的 Docker 镜像

拉取镜像并获取配置文件：

docker run --rm tuchuanhuhuhu/chuanhuchatgpt:latest \
cat /app/config_example.json > ~/ChuanhuChatGPT/config.json

运行 Docker 容器

docker run -d --name ChuanhuChat \
    -v ~/ChuanhuChatGPT/history:/app/history \
    -v ~/ChuanhuChatGPT/config.json:/app/config.json \
    -p 7860:7860 \
    tuchuanhuhuhu/chuanhuchatgpt:latest

这里强调一下

history 

是历史记录文件夹；

config.json

重要配置文件
其中

-v 

这里一定要写绝对路径，不然会报路径错误

如果需要安装本地模型所需的依赖，

docker exec -it ChuanhuChat /bin/bash

然后进入 /app 目录，执行以下命令安装依赖：

pip install -r requirements_advanced.txt

此时在

config.json

配上星火大模型相关信息：

直接docker run就可以打开 7860端口看到web页面了。

2.2 常规本地部署

本地部署可参考：手动安装（适用于大部分用户）

git clone https://github.com/GaiZhenbiao/ChuanhuChatGPT.git
cd ChuanhuChatGPT
pip install -r requirements.txt

# 如果你还想使用本地运行大模型的功能，请再执行下面的命令：
pip install -r requirements_advanced.txt

然后把

config.json

配置一下就可以启动了：

python ChuanhuChatbot.py

如果一切顺利，现在，你应该已经可以在浏览器地址栏中输入

http://localhost:7860

查看并使用 川虎Chat 了。

其中，笔者启动的时候发现port一直会报错，需要将

config.json

的

server_name

，

server_port

不能使用默认的：

关于部署贴一下原文，涉及

server_name

,

server_port

：

2.3 config.json 详解

整体来说，chuanhu是比较傻瓜启动的，所以，需要了解

config.json

这个重要的配置项，可见：配置 config.json

因为chuanhu兼容了非常多模型，所以可配置的东西很多，一般默认是None，里面注释比较清楚：

2.4 页面基础配置项：presets.py

ChuanhuChatGPT/modules/presets.py

是配置里面的内容：

还有包括，上面的配置项也都是：