Jan AI本地运行揭秘：首次体验，尝鲜科技前沿

🌟🌌 欢迎来到知识与创意的殿堂 — 远见阁小民的世界！🚀
🌟🧭 在这里，我们一起探索技术的奥秘，一起在知识的海洋中遨游。
🌟🧭 在这里，每个错误都是成长的阶梯，每条建议都是前进的动力。
🌟🧭 在这里，我们一起成长，一起进步，让我们在知识的世界里畅游无阻，共同创造一个充满智慧和创新的明天。
🌟📚 点击关注，加入我们的技术探索之旅吧！❤️📖✨
✨博客主页：远见阁小民的主页
📕本文专栏： AI专栏
📕其他专栏：后端专栏 Python专栏 其他专栏 Linux专栏

1 简介

   IT之家1 月 20 日发布消息称，Jan AI 是一款免费的 ChatGPT AI 替代软件，可以在 Mac、Windows 或 Linux PC 上本地运行。

👇那么今天我们就来在Windows 11操作系统上亲自搭建一下试试效果，尝尝鲜👇

2 Jan AI本地搭建

官方网站：Open-source ChatGPT Alternative | Jan
开源代码：https://github.com/janhq/jan
模型地址：TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF at main

2.1 下载安装包

官网首页👇

2.2 安装Jan

直接双击运行即可，下载完成的安装包👇

安装完成界面👇

2.3 下载模型

  众所周知，在Hugging Face上想直接下载模型的话，还是比较费劲的

  这个时候可以看一下Hugging Face镜像站有没有收录我们想要下载的模型

  Hugging Face镜像站地址：hf-mirror.com - Huggingface 镜像站

现在我们开始实操如何从Jan AI上下载我们想要使用的模型，可以按照以下步骤操作👇

打开Jan AI程序的安装目录，编辑model.json文件👇

点击open后可以看到如下界面👇

打开models文件夹，这里比方说我想要下载llama2-chat-7b-q4模型👇

打开llama2-chat-7b-q4文件夹，编辑model.json文件👇

我们把Hugging Face的下载地址改成http://hf-mirror.com镜像站的地址👇

然后重启Jan AI 程序，再次进入到Hub页面去下载llama2-chat-7b-q4模型，此时发现可以下载模型了
如果没有把模型地址改成镜像站地址，使用Hugging Face的地址一般情况下是下载不动的哦

2.4 本地运行

2.4.1 运行效果

   随着本次的实操演示落下帷幕，我们对Jan AI在本地运行的效果有了一个初步的认识。

   确实，从我们的体验中可以看出，尽管这种模式带来了更加直接和个性化的交互体验，但它对CPU的高消耗也是不可忽视的。这种情况可能会在长时间运行或进行复杂任务时成为一个挑战。

   我们希望通过今天的演示，大家能更加全面地了解Jan AI本地运行的特点与局限，以及如何更有效地利用这一技术。未来，我们期待看到更多优化，旨在提升性能和减少资源消耗，从而使Jan AI成为更加强大和易于使用的工具。

   感谢大家的关注，让我们继续关注Jan AI的发展，共同探索人工智能技术的无限可能。