0


ubuntu部署fastgpt+oneApi

服务器:ubuntu20.04.6

基本环境:nodeJs 18 ,go 1.21.4,mysql 8.0.35

node管理器:nvm(用于管理node版本)

oneAPI

参考文档

1、下载最新版one****Api

    git clone https://github.com/songquanpeng/one-api.git

2、ubuntu安装数据库(mysql** 8.0.35)**

    在mysql中新建oneapi数据库

3、ubuntu安装go 1.21.4环境

4、配置

设置go环境变量“SQL_DSN”为

"<mysql用户名>:<密码>@tcp(localhost:3306)/oneapi",用于onapi连接本地数据库

5、运行

在终端命令行下切换到“<你的oneapi项目>/web/default”路径下

5.1 构建前端

    npm install 

    npm run build

5.2 构建后端(go****包安装需要翻墙、以及修改代理

            切换到 “<你的oneapi项目>” 路径下

                    go mod download 

                    go build -ldflags "-s -w" -o one-api

                    chmod u+x <你的onapi项目目录>  增加可执行权限

5.3 启动项目(默认启动端口号3001,修改完要修改fastGPT的oneapi的配置)

            ./<你的onapi项目目录> --port 3001 --log-dir ./logs

fastGPT

参考文档

1****、下载最新版本

    git clone https://github.com/labring/FastGPT

2、安装数据库

  1. mongoDB 6.0.12
  2. postgresql 16 ,以及 安装pgvector 向量扩展

3、配置

前提:在终端命令行下切换到“<你本地的fastGPT项目路径>/projects/app”下

    1、复制****.env.template****文件,在同级目录下生成一个****.env.local**** 文件,修改.env.local 里内容才是有效的变量。变量说明见 .env.template

    2、复制 ****data/config.json**** 文件,生成一个 ****data/config.local.json**** 配置文件,具体配置参数说明,可参考 config以下配置说明(适用于4.6.6-alpha版本以下,我们部署的是4.0.0):

注:配置模型时需要将ChatModels中的配置所有种类的模型

{

"SystemParams": {

"vectorMaxProcess": 15, // 向量生成最大进程,结合数据库性能和 key 来设置

"qaMaxProcess": 15,  // QA 生成最大进程,结合数据库性能和 key 来设置

"pgHNSWEfSearch": 100  // pg vector 索引参数,越大精度高但速度慢

},

"ChatModels": [ // 对话模型

{

  "model": "gpt-3.5-turbo-1106",

  "name": "GPT35-1106",

  "price": 0, // 除以 100000 后等于1个token的价格

  "maxContext": 16000, // 最大上下文长度

  "maxResponse": 4000, // 最大回复长度

  "quoteMaxToken": 2000, // 最大引用内容长度

  "maxTemperature": 1.2, // 最大温度值

  "censor": false, // 是否开启敏感词过滤(商业版)

  "vision": false, // 支持图片输入

  "defaultSystemChatPrompt": ""

},

],

"QAModels": [ // QA 生成模型

{

  "model": "gpt-3.5-turbo-16k",

  "name": "GPT35-16k",

  "maxContext": 16000,

  "maxResponse": 16000,

  "price": 0

}

],

"CQModels": [ // 问题分类模型

{

  "model": "gpt-3.5-turbo-1106",

  "name": "GPT35-1106",

  "maxContext": 16000,

  "maxResponse": 4000,

  "price": 0,

  "toolChoice": true, // 是否支持openai的 toolChoice, 不支持的模型需要设置为 false,会走提示词生成

  "functionPrompt": ""

}

],

"ExtractModels": [ // 内容提取模型

{

  "model": "gpt-3.5-turbo-1106",

  "name": "GPT35-1106",

  "maxContext": 16000,

  "maxResponse": 4000,

  "price": 0,

  "toolChoice": true,

  "functionPrompt": ""

}

],

"QGModels": [ // 生成下一步指引

{

  "model": "gpt-3.5-turbo-1106",

  "name": "GPT35-1106",

  "maxContext": 1600,

  "maxResponse": 4000,

  "price": 0

}

],

"VectorModels": [ // 向量模型

{

  "model": "text-embedding-ada-002",

  "name": "Embedding-2",

  "price": 0.2,

  "defaultToken": 700,

  "maxToken": 3000

}

],

"ReRankModels": [], // 重排模型,暂时填空数组

"AudioSpeechModels": [

{

  "model": "tts-1",

  "name": "OpenAI TTS1",

  "price": 0,

  "baseUrl": "",

  "key": "",

  "voices": [

    { "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },

    { "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },

    { "label": "Fable", "value": "fable", "bufferId": "openai-Fable" },

    { "label": "Onyx", "value": "onyx", "bufferId": "openai-Onyx" },

    { "label": "Nova", "value": "nova", "bufferId": "openai-Nova" },

    { "label": "Shimmer", "value": "shimmer", "bufferId": "openai-Shimmer" }

  ]

}

],

"WhisperModel": {

"model": "whisper-1",

"name": "Whisper1",

"price": 0

}

}

4、修改配置**.env.local**文件(本地环境变量)

主要修改数据库连接的变量

4.1 fastGPT配置

mongo 数据库连接参数,连不上就去掉?authSource=admin,mongo用于存储我们的账号以及材料信息

MONGODB_URI=mongodb://127.0.0.1:27017/?authSource=admin

PG 数据库连接参数,(用于存储向量信息)

PG_URL=postgresql://username:password@host:port/postgres

4.2 oneApi配置(通过oneApi中转我们对大模型的请求)

oneApi基本地址,v1必须加上

OPENAI_BASE_URL=http://<你的oneApi地址>/v1

CHAT_API_KEY=<oneApi生成的令牌>

5、启动

在终端命令行下切换到“<你本地的fastGPT项目路径>”下

5.1给脚本代码执行权限

chmod -R +x ./scripts/

5.2代码根目录下执行,会安装根 package、projects 和 packages 内所有依赖

pnpm i

5.3切换到应用目录

cd projects/app

5.4开发模式运行

pnpm dev

标签: ubuntu oneapi linux

本文转载自: https://blog.csdn.net/hcy851/article/details/135918015
版权归原作者 hecongyuan 所有, 如有侵权,请联系我们删除。

“ubuntu部署fastgpt+oneApi”的评论:

还没有评论