0


【AI】【GPT4ALL】如何拥有本地GPT以及有无可能自己训练GPT

【背景】

GPT4ALL是一款易于安装,可以连接多款自然语言模型包括GPT3.5模型,并且自带上传文件搜索功能的AI本地软件。部署后,也可以通过自己连接它的AI后台,自建前台,在公司内部自建一个AI平台。
要实现这个需要解决两个问题:

  1. 构建一套局域网UI连接本地GPT模型API的可用服务,类似于在局域网构建了自己的GPT服务。
  2. 能够用自己的数据集来训练此GPT以满足本组织专业领域内的需求。

【先说答案再决定是否要看下去】

  1. 完全可以,比如用现有的GPT4ALL,开启API服务,然后自己用Flask等构建UI前端,或者用一些现有的UI前端开源框架
  2. 如果考虑到数据安全无法利用云服务进行retrain,那么除非你可以拿出几十万的预算来搭建以A100GPU为核心的AI硬件,不然从文献提供的数据看是没有足够算力对模型进行训练的。

【GPT4ALL加载模型的操作步骤】

GPT4ALL可以直接加载GPT3.5 turbo模型,并且可商用,这种情况下Retrain方法其实和OpenAI的GPT是相似的。
直接下载下来的初始模型是没有太多数据,总大小只有4个多GB。所以需要再拿准备好的再训练模型进行一波训练,这些训练数据集都是GPT4ALL精选的高质量Prompt Pair数据集。
如果不是公司内部署,可以直接在外网连接共享datalake。点击这些datalake中的数据就可以看到用于训练的数据形式长什么样。

标签: 人工智能 gpt

本文转载自: https://blog.csdn.net/weixin_41697242/article/details/135299323
版权归原作者 每日出拳老爷子 所有, 如有侵权,请联系我们删除。

“【AI】【GPT4ALL】如何拥有本地GPT以及有无可能自己训练GPT”的评论:

还没有评论