0


深入浅出剖析开源的 LLM应用开发平台Dify

Dify是一个开源的 LLM应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力,轻松构建和运营生成式 AI 原生应用。

市面同类产品有字节的Coze、百度的AppBuilder,都是不错的大模型原生应用的平台,但都是非开源产品,无法私有化部署。Dify是一个开源平台,可以作为企业内部大模型原生应用平台进行私有化部署使用,同时调用企业私有部署模型,保障企业内部数据安全。

📌一文读懂Coze/扣子平台:https://zhuxiaoxia.blog.csdn.net/article/details/141463618

它在GitHub上甚至斩获了高达49.1k的Star(截止24.10.24),能够达到10k Star的开源项目已经非常了不起了,而Dify却轻松突破了几十K,恐怖的是,这个数字还在持续增长中!
在这里插入图片描述

一、什么是Dify

Dify是一款开源的大语言模型(LLM)应用开发平台。它融合了后端即服务(Backend as Service)和LLMOps的理念,使开发者可以快速搭建生产级的生成式AI应用。即使非技术人员,也能参与到AI应用的定义和数据运营过程中。同时Dify内置了构建LLM应用所需的关键技术栈,这为开发者节省了许多重复造轮子的时间,使其可以更加专注在创新和业务需求上。

官网: https://dify.ai/zh
Github :https://github.com/langgenius/dify

核心优势 :

  1. 工作流程:在可视化画布上构建和测试强大的 AI 工作流程,利用以下所有功能及其他功能。
  2. 全面的模型支持:与数十家推理提供商和自托管解决方案的数百个专有/开源 LLM 无缝集成,涵盖 GPT、Mistral、Llama3 和任何兼容 OpenAI API 的模型。支持的模型提供商的完整列表可在此处找到
  3. Prompt IDE:直观的界面,用于制作提示、比较模型性能以及向基于聊天的应用程序添加文本转语音等附加功能。
  4. RAG Pipeline:广泛的 RAG 功能涵盖从文档提取到检索的所有内容,并提供从 PDF、PPT 和其他常见文档格式中提取文本的开箱即用支持。
  5. 代理能力:可以基于 LLM Function Calling 或 ReAct 定义代理,并为代理添加预构建或自定义工具。Dify 为 AI 代理提供了 50+ 内置工具,例如 Google Search、DELL·E、Stable Diffusion 和 WolframAlpha。
  6. LLMOps:监控和分析应用程序日志和性能。您可以根据生产数据和注释不断改进提示、数据集和模型。
  7. 后端即服务:Dify 的所有产品都配有相应的 API,可以毫不费力地将 Dify 集成到您自己的业务逻辑中。

二、核心能力

关键部分
在这里插入图片描述

  • 核心技术组件支撑:Dify集成了创建LLM应用程序的核心技术组件,涵盖了对众多模型的兼容支持、用户友好的Prompt设计界面、高性能的RAG(检索增强生成)系统,以及可自定义的Agent架构。
  • 可视化编排和运营:直观的界面,实现了Prompt的可视化编排、运维流程及数据集的高效管理,极大地加速了AI应用程序的开发进程,使开发者能够在短时间内部署完毕,或迅速将LLM融入现有系统中,并支持持续性的运维优化。
  • 应用模板和编排框架:为开发者配备了开箱即用的应用模板和编排架构,使得开发者能够依托这些资源迅速开发出基于大规模语言模型的生成式AI应用程序。此外,该平台还支持随业务需求变化即时、平滑地进行扩容,从而有力推动业务发展。

通过这些技术架构的关键组成部分,Dify为开发者提供了一个全面、灵活且易于使用的平台,以支持生成式AI应用的快速开发和部署。

三、产品介绍

能力介绍

Dify 提供四种类型的应用: 在这里我就不做详细的功能介绍了,官方的知道手册都有,需要大家先知道自己要制作什么,再去研究工具使用!

官方指导手册https://docs.dify.ai/v/zh-hans

  • 聊天助手:基于大型语言模型构建的对话助手。
  • 文本生成:用于文本生成任务的助手,例如编写故事、文本分类、翻译等。
  • 智能体:能够进行任务分解、推理和工具调用的对话式 AI 智能体。
  • 工作流:基于流程编排定义更灵活的 LLM 工作流。 - Chatflow:面向对话类情景,包括客户服务、语义搜索、以及其他需要在构建响应时进行多步逻辑的对话式应用程序。- Workflow:面向自动化和批处理情景,适合高质量翻译、数据分析、内容生成、电子邮件自动化等应用程序。

几个亮点

1. 支持丰富的大模型

Dify原生支持对接40多家厂商的大模型,并适配不同厂商的大模型配置,但通常只需要界面配置apikey和api_base即可完成对接。

除了大模型厂商,还支持对接像hugging face这样的大模型平台。

还可以通过接入Ollama,实现对大多数开源模型的无缝对接,真正做到全链路免费!而且安全性也很高,完全不用担心数据泄露的问题。
在这里插入图片描述

2. 丰富的插件库

Dify的开源版内置了上百个不同领域的功能插件,其他开源项目大多需要你自己去开发插件。

在这里插入图片描述

3. 多模型调试

在智能体的预览页,支持多模型调试(最多四个模型),可以选择最多四个模型同时回答你发出的问题,这样就能非常直观的测试各模型的性能、效果,从而选出符合场景需求的大模型。
在这里插入图片描述

4. 多知识库来源

Dify支持从Notion同步知识库内容,以及可以从web站点同步内容,非常方便。
在这里插入图片描述

5. 一键生成结构化prompt

Dify支持一键生成结构化提示词,结构化的提示词更有利于大模型理解。这个功能对于小白来说非常友好,虽然这个功能Coze也有,但是对于一个免费的开源项目来说已经是非常提升用户体验了。
在这里插入图片描述

6. 可导入导出DSL文件

Dify上创建的所有智能体,包括工作流都可导出为DSL文件,Coze就没有这个功能。有导出就有导入,它能够帮助我们快速构建,或者分享一个高质量的智能体。
在这里插入图片描述

在这里插入图片描述

7. 工作流可添加循环节点

Dify的工作流支持添加循环节点,Coze是在后期才添加这个特性。熟悉开发的朋友都知道,循环在代码中至关重要,几乎所有的代码和App都离不开它,循环可以说是程序的灵魂。

8. 支持多用户,多权限管理

这个功能我觉得也非常有必要,方便多用户时进行权限管理。关键是很多开源项目是没有的。

好了,以上八点就是Dify让我眼前一亮的功能,你认为怎么样呢,欢迎评论区一起交流沟通~

四、Dify使用

1. 云服务:在线体验

Dify 为每个人提供云服务,无需自行部署即可使用 Dify 的全部功能。

从免费计划开始,其中包括 200 次 OpenAI 调用的免费试用。要使用云版本的免费计划,需要一个 GitHub 或 Google 帐户和一个 OpenAI API 密钥。

2. 部署社区版本:本地运行

如果想在本地运行 Dify,可以选择部署 Dify 社区版本,它是开源版本。可以通过 Docker Compose或本地源代码进行部署。

私有化部署:https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/docker-compose

五、拓展阅读


本文转载自: https://blog.csdn.net/Julialove102123/article/details/143212786
版权归原作者 女王の专属领地 所有, 如有侵权,请联系我们删除。

“深入浅出剖析开源的 LLM应用开发平台Dify”的评论:

还没有评论