0


chatui工具使用记录与比较

概述

cahtui相关工具可谓是层出不穷,方便了我们使用各个大模型。这里我把我知道的整理下列出来,顺便做一比较。

简单比较

openWebUI,star 11.1k,仿chatgpt风格,支持openapi、可以对接Ollama进行对话,功能相对单一,界面比较简洁

chatgpt-next-chat,star 65.9k,支持openai、azure openai,google,预设的面具功能不错,功能相对简单,界面也比较显旧

lobe-chat,star 25.6k,支持主流大模型,如openai、Claude、google、groq、aws、mistral、月之暗面、智谱,也支持Ollama。发现功能内置的助手数量不少,而且质量不错(使用了专门的system提示词),界面也比较好看。

模型接入

chat应用,依赖于大模型,而且一般都会支持openai,只要支持openai,那么类openai的都可以接入。目前也有提供输入输出统一转换为openai的工具,比如one-api。

我可以在one-api中统一管理我要用到的大模型,在chatui中需要用的时候,我只需要配置openai大模型即可,不过地址是我one-api的地址、key是one-api的key,具体要用哪个模型,设置model参数即可。

具体操作

具体每个工具的操作,后面有时间再细写。

openWebUI

模型支持

支持openapi、可以对接Ollama进行对话,可自动识别Ollama下模型,并且可以添加多个openai、ollama地址

可以直接通过web界面上传、下载、删除等管理ollama模型,和ollama的结合做的是不错

管理功能

可以预设提示词,通过输入/调用,不过感觉不如GPTs助手方式好,相对简单

有个游乐场功能(playGround),不过还是测试阶段,可以定义system prompt,不过数据都没做保存

文档上传,但是不确定什么情况会用到

可以导出、导入聊天记录

对话

可以上传文件,实现RAG功能

输入可以语音转文字

可以选择多个模型,实现群聊,这个是个特色

可以通过语音阅读推理结果

可以对推理结果进行标注,可以修改推理结果,这些数据作为数据集,提供微调

实践真知

将openai模型调整为one-api也是没问题的,会通过/models接口将所有模型加载出来提供选择

部署

可以通过docker方便的部署,以便本地使用

问题

1)偶然发现,配置了ollama,如果ollama没启动,导致系统也无法打开

2)开启对话后,页面滚动较多会遮挡住修改模型下拉框,必须滚到页面最上方才可以再修改模型

3)算one-api的问题,手动新增的模型,加载不出来,应该都是每个模型默认的模型类型

chatgpt-next-chat

模型支持

支持openai、azure openai,google,openai就可以设置为one-api地址(这样多数模型基本支持了),由于零一万物的webapi完全兼容openai,openai也可以直接设置为零一万物的。

接下来设置自定义模型名称,在对话界面模型列表中就可以选择到了

管理功能

可以自定义提示词、面具,通过输入/调用,不过感觉不如GPTs助手方式好,相对简单。和open webui的功能差不多。这个功能有个问题是,这个prompt信息是user聊天发出的,实际上应该是system prompt。

提示词就是一个prompt,面具可以是多条对话记录,还可以设置头像、对话参数、模型等,可以直接以某个面具开始对话

通过分享面具,可以直接开始一个类似助手的对话

可以导入导出所有记录(对话、消息、提示词、面具)

对话

预设的面具功能不错,类似system prompt,功能相对简单,界面也比较显旧

新建对话后才可以选择预设的面具,没有将应用一开始就创建好

对话界面文本框上方可以直接进行对手设置模型、面具等信息,这一点比openai webui好

部署

可以通过docker方便的部署,以便本地使用

也可以快捷的通过Vercel 一键部署,配置个域名就可以很方面的外网访问使用了

问题

不能对话上传文档

没有文档功能,没有RAG功能

不能对推理结果进行标记、编辑

lobe-chat

支持主流大模型,如openai、Claude、google、groq、aws、mistral、月之暗面、智谱,也支持Ollama。发现功能内置的助手数量不少,而且质量不错(使用了专门的system提示词),界面也比较好看。

模型支持

支持主流大模型,如openai、Claude、google、groq、aws、mistral、月之暗面、智谱,也支持Ollama。

管理功能

发现功能内置的助手数量不少,而且质量不错(使用了专门的system提示词),界面也比较好看。

可以导入导出配置助手消息数据

对话

可以新建一个助手开始对话

可以语音阅读推理结果

部署

可以通过docker方便的部署,以便本地使用

问题

不能对话上传文档

没有文档功能,没有RAG功能

不能对推理结果进行标记、编辑

整体而言

比较下来,还是openWebUI在整个过程上比较全面(提示词、对话、RAG、标注),但是缺少对类助手功能的支持、某些细节上略欠缺。(目前属于测试功能的提示词功能完善了,整体就更完整了)

chatgpt-next-chat和lobe-chat功能比较接近,lobe-chat在助手的丰富性上更胜一筹

当然想要功能全面,那还得dify了,dify定位就是应用,这几个还是chat。

当然也看具体应用场景。

标签: chatui ai 大模型

本文转载自: https://blog.csdn.net/ewqewqqwe/article/details/137119581
版权归原作者 龙井茶Sky 所有, 如有侵权,请联系我们删除。

“chatui工具使用记录与比较”的评论:

还没有评论