在人工智能(AI)领域,角色扮演(Roleplay)无疑是一个富有趣味且充满潜力的应用场景。无论你是AI爱好者还是开发者,找到一个合适的前端工具来访问并与语言模型进行互动是至关重要的。今天,我们将介绍一个轻量级且高效的工具——SillyTavern,它可以帮助你实现本地和私密环境下的AI角色扮演需求。
SillyTavern的优势
SillyTavern本质上是一个前端工具,它本身不下载或托管任何模型。这使得它非常轻量,不需要复杂的后端系统。你只需要SillyTavern发出API调用来访问各种LLMs。这些模型可以是通过OpenAI的GPT-4或GPT-3.5等API访问的闭源模型,也可以是你在自己私有服务器上托管的开源模型。
安装SillyTavern
接下来,我们将详细介绍如何在Windows系统上安装SillyTavern,并通过它访问基于Ollama托管的LLM。
第一步:访问SillyTavern官方网站
首先,请访问SillyTavern官方网站sillytavernai.com。在网站上点击“Install Now”,你会看到两种安装方法:通过Git或通过ZIP文件。推荐使用第一种方法,这种方法最简单易行。
第二步:安装Git
如果你选择通过Git安装,请访问Git官网并下载适用于Windows的版本。下载完成后,按照典型的Windows安装步骤(点击“Next”按钮)进行安装,直到完成。
第三步:克隆SillyTavern仓库
安装完Git后,打开终端并导航到你想要安装SillyTavern的目录。例如,你可以打开Windows PowerShell并以管理员身份运行,然后使用以下命令:
cd Desktop
mkdir SillyTavern
cd SillyTavernnt
git clone https://github.com/SillyTavern/SillyTavern.git
第四步:安装SillyTavern
克隆完成后,导航到SillyTavern目录并运行安装脚本。这将自动安装所有必要的依赖项,包括Python等。
cd SillyTavern
.\install.bat
安装过程中可能会要求输入管理员密码,请按需操作。安装完成后,一个本地的Flask应用将启动,并在浏览器中打开SillyTavern的界面。
sillytavern可以连接任意支持api的模型,为了本地可用,我们介绍ollama的使用方式:
连接Ollama托管的LLM
现在,我们来看看如何通过SillyTavern连接到基于Ollama托管的LLM。
第一步:配置SillyTavern
在浏览器中打开的SillyTavern界面上,点击“Launch”选项卡。选择“Release Branch”,然后点击“Install”。安装完成后,点击“Launch”按钮。
第二步:设置API连接
在SillyTavern界面上,点击右上角的插件图标,选择“Text Completion”或“Chat Completion”API类型。选择“Ollama”作为API类型,并输入你Ollama服务器的公共IP和端口号。
例如,如果你的Ollama服务器运行在IP地址“192.168.1.1”且端口号为“11434”,那么输入这些信息并点击“Connect”。一旦连接成功,你会看到Ollama服务器上运行的模型列表。
开始角色扮演
现在,你已经成功连接到Ollama托管的LLM,可以开始角色扮演了。在SillyTavern界面上,你可以选择不同的模型进行互动。例如,你可以选择使用OpenAI的GPT-4或GPT-3.5模型,只需输入相应的API密钥即可。
结语
通过以上步骤,你已经学会了如何在Windows系统上安装SillyTavern,并通过它连接到基于Ollama托管的LLM进行角色扮SillyTavernnt的轻量级设计和高效的API调用机制,使得它成为了AI角色扮演的理想前端工具。
关注我,每天带你开发一个AI应用,每周二四六直播,欢迎多多交流。
版权归原作者 七哥的AI日常 所有, 如有侵权,请联系我们删除。