0


chatgpt微调fine-tuning

openai/chatgpt微调/fine-tuning/测试用/投喂资源

微调涉及以下步骤:

准备训练数据: 链接: https://download.csdn.net/download/gujunsheng837735/87537800
直接下载可用

整理了chatgpt微调所需要的测试资源数据,按照fine-tuning的格式生成的数据集。可以直接 fine_tunes.create -t 使用。微调完毕后可以 -p 回答结果。其中包含三四百条数据。适合测试openai自定义模型的人群使用。

chatgpt微调适用于以下模型:davinci curie babbage ada。

第一步:安装 OpenAI 命令行界面 (CLI)
pip3 install--upgrade openai
第二步:

设置环境变量:OPENAI_API_KEY
export OPENAI_API_KEY=“sk-************************************************”

exportOPENAI_API_KEY="sk-************************************************"

下载上面的准备训练数据
格式为:
{“prompt”: “”, “completion”: “”}
{“prompt”: “”, “completion”: “”}
{“prompt”: “”, “completion”: “”}

第三步(用上面的数据可跳过):
openai tools fine_tunes.prepare_data -f /文件存放位置/json_prepared.jsonl 

它的作用是引导你完成建议的更改后,将输出保存到 JSONL 文件中。

第四步:

创建微调模型
使用 OpenAI CLI 启动微调:

openai api fine_tunes.create -t"/文件存放位置/json_prepared.jsonl"-m davinci --suffix"davinci model test01"

-m:chatgpt微调适用于以下模型:davinci curie babbage ada。(不加m参数 默认是curie)
–suffix:自定义模型名称

刚刚的命令会执行这几项操作:

  1. 第一次使用json_prepared.jsonl的时候会上传文件,如果下次依旧用这个文件训练其他模型的话,就不会重复上次了。
  2. 创建微调任务
  3. 传输过程直到完成(一般情况挺快的,但如果前面很多排队的,你就得慢慢等,自己训练数据量的大小也会影响速度)
  4. 如果事件中断了,可以通过以下命令来恢复:
openai api fine_tunes.follow -i ft-************************

你的微调工作id:ft-************************

微调完成以后可以在命令行测试:
openai api completions.create -m davinci:ft-********:davinci-model-test01-2023-03-02-09-13-35 -p"小明的妈妈有三个儿子,大儿子叫大明,二儿子叫二明,三儿子叫什么。"

-m: 刚刚创建成功的微调模型名称
-p: 你要提问的问题

标签: chatgpt ai

本文转载自: https://blog.csdn.net/gujunsheng837735/article/details/129367715
版权归原作者 ignore_wen 所有, 如有侵权,请联系我们删除。

“chatgpt微调fine-tuning”的评论:

还没有评论