服务器:ubuntu20.04.6
基本环境:nodeJs 18 ,go 1.21.4,mysql 8.0.35
node管理器:nvm(用于管理node版本)
oneAPI
参考文档
1、下载最新版one****Api
git clone https://github.com/songquanpeng/one-api.git
2、ubuntu安装数据库(mysql** 8.0.35)**
在mysql中新建oneapi数据库
3、ubuntu安装go 1.21.4环境
4、配置
设置go环境变量“SQL_DSN”为
"<mysql用户名>:<密码>@tcp(localhost:3306)/oneapi",用于onapi连接本地数据库
5、运行
在终端命令行下切换到“<你的oneapi项目>/web/default”路径下
5.1 构建前端
npm install
npm run build
5.2 构建后端(go****包安装需要翻墙、以及修改代理)
切换到 “<你的oneapi项目>” 路径下
go mod download
go build -ldflags "-s -w" -o one-api
chmod u+x <你的onapi项目目录> 增加可执行权限
5.3 启动项目(默认启动端口号3001,修改完要修改fastGPT的oneapi的配置)
./<你的onapi项目目录> --port 3001 --log-dir ./logs
fastGPT
参考文档
1****、下载最新版本
git clone https://github.com/labring/FastGPT
2、安装数据库
- mongoDB 6.0.12
- postgresql 16 ,以及 安装pgvector 向量扩展
3、配置
前提:在终端命令行下切换到“<你本地的fastGPT项目路径>/projects/app”下
1、复制****.env.template****文件,在同级目录下生成一个****.env.local**** 文件,修改.env.local 里内容才是有效的变量。变量说明见 .env.template
2、复制 ****data/config.json**** 文件,生成一个 ****data/config.local.json**** 配置文件,具体配置参数说明,可参考 config以下配置说明(适用于4.6.6-alpha版本以下,我们部署的是4.0.0):
注:配置模型时需要将ChatModels中的配置所有种类的模型
{
"SystemParams": {
"vectorMaxProcess": 15, // 向量生成最大进程,结合数据库性能和 key 来设置
"qaMaxProcess": 15, // QA 生成最大进程,结合数据库性能和 key 来设置
"pgHNSWEfSearch": 100 // pg vector 索引参数,越大精度高但速度慢
},
"ChatModels": [ // 对话模型
{
"model": "gpt-3.5-turbo-1106",
"name": "GPT35-1106",
"price": 0, // 除以 100000 后等于1个token的价格
"maxContext": 16000, // 最大上下文长度
"maxResponse": 4000, // 最大回复长度
"quoteMaxToken": 2000, // 最大引用内容长度
"maxTemperature": 1.2, // 最大温度值
"censor": false, // 是否开启敏感词过滤(商业版)
"vision": false, // 支持图片输入
"defaultSystemChatPrompt": ""
},
],
"QAModels": [ // QA 生成模型
{
"model": "gpt-3.5-turbo-16k",
"name": "GPT35-16k",
"maxContext": 16000,
"maxResponse": 16000,
"price": 0
}
],
"CQModels": [ // 问题分类模型
{
"model": "gpt-3.5-turbo-1106",
"name": "GPT35-1106",
"maxContext": 16000,
"maxResponse": 4000,
"price": 0,
"toolChoice": true, // 是否支持openai的 toolChoice, 不支持的模型需要设置为 false,会走提示词生成
"functionPrompt": ""
}
],
"ExtractModels": [ // 内容提取模型
{
"model": "gpt-3.5-turbo-1106",
"name": "GPT35-1106",
"maxContext": 16000,
"maxResponse": 4000,
"price": 0,
"toolChoice": true,
"functionPrompt": ""
}
],
"QGModels": [ // 生成下一步指引
{
"model": "gpt-3.5-turbo-1106",
"name": "GPT35-1106",
"maxContext": 1600,
"maxResponse": 4000,
"price": 0
}
],
"VectorModels": [ // 向量模型
{
"model": "text-embedding-ada-002",
"name": "Embedding-2",
"price": 0.2,
"defaultToken": 700,
"maxToken": 3000
}
],
"ReRankModels": [], // 重排模型,暂时填空数组
"AudioSpeechModels": [
{
"model": "tts-1",
"name": "OpenAI TTS1",
"price": 0,
"baseUrl": "",
"key": "",
"voices": [
{ "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
{ "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
{ "label": "Fable", "value": "fable", "bufferId": "openai-Fable" },
{ "label": "Onyx", "value": "onyx", "bufferId": "openai-Onyx" },
{ "label": "Nova", "value": "nova", "bufferId": "openai-Nova" },
{ "label": "Shimmer", "value": "shimmer", "bufferId": "openai-Shimmer" }
]
}
],
"WhisperModel": {
"model": "whisper-1",
"name": "Whisper1",
"price": 0
}
}
4、修改配置**.env.local**文件(本地环境变量)
主要修改数据库连接的变量
4.1 fastGPT配置
mongo 数据库连接参数,连不上就去掉?authSource=admin,mongo用于存储我们的账号以及材料信息
MONGODB_URI=mongodb://127.0.0.1:27017/?authSource=admin
PG 数据库连接参数,(用于存储向量信息)
PG_URL=postgresql://username:password@host:port/postgres
4.2 oneApi配置(通过oneApi中转我们对大模型的请求)
oneApi基本地址,v1必须加上
OPENAI_BASE_URL=http://<你的oneApi地址>/v1
CHAT_API_KEY=<oneApi生成的令牌>
5、启动
在终端命令行下切换到“<你本地的fastGPT项目路径>”下
5.1给脚本代码执行权限
chmod -R +x ./scripts/
5.2代码根目录下执行,会安装根 package、projects 和 packages 内所有依赖
pnpm i
5.3切换到应用目录
cd projects/app
5.4开发模式运行
pnpm dev
版权归原作者 hecongyuan 所有, 如有侵权,请联系我们删除。