概述
cahtui相关工具可谓是层出不穷,方便了我们使用各个大模型。这里我把我知道的整理下列出来,顺便做一比较。
简单比较
openWebUI,star 11.1k,仿chatgpt风格,支持openapi、可以对接Ollama进行对话,功能相对单一,界面比较简洁
chatgpt-next-chat,star 65.9k,支持openai、azure openai,google,预设的面具功能不错,功能相对简单,界面也比较显旧
lobe-chat,star 25.6k,支持主流大模型,如openai、Claude、google、groq、aws、mistral、月之暗面、智谱,也支持Ollama。发现功能内置的助手数量不少,而且质量不错(使用了专门的system提示词),界面也比较好看。
模型接入
chat应用,依赖于大模型,而且一般都会支持openai,只要支持openai,那么类openai的都可以接入。目前也有提供输入输出统一转换为openai的工具,比如one-api。
我可以在one-api中统一管理我要用到的大模型,在chatui中需要用的时候,我只需要配置openai大模型即可,不过地址是我one-api的地址、key是one-api的key,具体要用哪个模型,设置model参数即可。
具体操作
具体每个工具的操作,后面有时间再细写。
openWebUI
模型支持
支持openapi、可以对接Ollama进行对话,可自动识别Ollama下模型,并且可以添加多个openai、ollama地址
可以直接通过web界面上传、下载、删除等管理ollama模型,和ollama的结合做的是不错
管理功能
可以预设提示词,通过输入/调用,不过感觉不如GPTs助手方式好,相对简单
有个游乐场功能(playGround),不过还是测试阶段,可以定义system prompt,不过数据都没做保存
文档上传,但是不确定什么情况会用到
可以导出、导入聊天记录
对话
可以上传文件,实现RAG功能
输入可以语音转文字
可以选择多个模型,实现群聊,这个是个特色
可以通过语音阅读推理结果
可以对推理结果进行标注,可以修改推理结果,这些数据作为数据集,提供微调
实践真知
将openai模型调整为one-api也是没问题的,会通过/models接口将所有模型加载出来提供选择
部署
可以通过docker方便的部署,以便本地使用
问题
1)偶然发现,配置了ollama,如果ollama没启动,导致系统也无法打开
2)开启对话后,页面滚动较多会遮挡住修改模型下拉框,必须滚到页面最上方才可以再修改模型
3)算one-api的问题,手动新增的模型,加载不出来,应该都是每个模型默认的模型类型
chatgpt-next-chat
模型支持
支持openai、azure openai,google,openai就可以设置为one-api地址(这样多数模型基本支持了),由于零一万物的webapi完全兼容openai,openai也可以直接设置为零一万物的。
接下来设置自定义模型名称,在对话界面模型列表中就可以选择到了
管理功能
可以自定义提示词、面具,通过输入/调用,不过感觉不如GPTs助手方式好,相对简单。和open webui的功能差不多。这个功能有个问题是,这个prompt信息是user聊天发出的,实际上应该是system prompt。
提示词就是一个prompt,面具可以是多条对话记录,还可以设置头像、对话参数、模型等,可以直接以某个面具开始对话
通过分享面具,可以直接开始一个类似助手的对话
可以导入导出所有记录(对话、消息、提示词、面具)
对话
预设的面具功能不错,类似system prompt,功能相对简单,界面也比较显旧
新建对话后才可以选择预设的面具,没有将应用一开始就创建好
对话界面文本框上方可以直接进行对手设置模型、面具等信息,这一点比openai webui好
部署
可以通过docker方便的部署,以便本地使用
也可以快捷的通过Vercel 一键部署,配置个域名就可以很方面的外网访问使用了
问题
不能对话上传文档
没有文档功能,没有RAG功能
不能对推理结果进行标记、编辑
lobe-chat
支持主流大模型,如openai、Claude、google、groq、aws、mistral、月之暗面、智谱,也支持Ollama。发现功能内置的助手数量不少,而且质量不错(使用了专门的system提示词),界面也比较好看。
模型支持
支持主流大模型,如openai、Claude、google、groq、aws、mistral、月之暗面、智谱,也支持Ollama。
管理功能
发现功能内置的助手数量不少,而且质量不错(使用了专门的system提示词),界面也比较好看。
可以导入导出配置助手消息数据
对话
可以新建一个助手开始对话
可以语音阅读推理结果
部署
可以通过docker方便的部署,以便本地使用
问题
不能对话上传文档
没有文档功能,没有RAG功能
不能对推理结果进行标记、编辑
整体而言
比较下来,还是openWebUI在整个过程上比较全面(提示词、对话、RAG、标注),但是缺少对类助手功能的支持、某些细节上略欠缺。(目前属于测试功能的提示词功能完善了,整体就更完整了)
chatgpt-next-chat和lobe-chat功能比较接近,lobe-chat在助手的丰富性上更胜一筹
当然想要功能全面,那还得dify了,dify定位就是应用,这几个还是chat。
当然也看具体应用场景。
版权归原作者 龙井茶Sky 所有, 如有侵权,请联系我们删除。