【NLP】2024 年十大 RAG 框架 Github

检索增强生成 (RAG) 已成为增强大型语言模型功能的强大技术。

RAG 框架将基于检索的系统与生成模型的优势相结合，从而实现更准确、更情境化和更及时的响应。随着对复杂 AI 解决方案的需求不断增长，GitHub 上出现了许多开源 RAG 框架，每个框架都提供独特的功能和能力。

RAG 框架有什么作用？

​

RAG 工作流程

检索增强生成(RAG) 是一种 AI 框架，它通过整合外部知识源来增强大型语言模型 (LLM) 的功能。

RAG 的工作原理是从知识库中检索相关信息并使用它来增强 LLM 的输入，从而使模型生成更准确、最新和与上下文相关的响应。

这种方法有助于克服知识截止日期等限制，并降低 LLM 输出中出现幻觉的风险。

为什么我不能只使用 LangChain？

虽然 LangChain 是构建 LLM 应用程序的强大工具，但它并不是 RAG 的直接替代品。相反，LangChain 可用于实现 RAG 系统。以下是您可能除了 LangChain 之外还需要 RAG 的原因：

1. 外部知识：RAG 允许您合并 LLM 培训数据中可能不存在的特定领域或最新信息。
2. 提高准确性：通过根据检索到的信息做出反应，RAG 可以显著减少错误和幻觉。
3. 定制：RAG 使您能够针对特定数据集或知识库定制响应，这对于许多商业应用程序至关重要。
4. 透明度：RAG 使得追踪用于生成响应的信息来源变得更加容易，从而提高了可审计性。

本质上，虽然 LangChain 提供了构建 LLM 应用程序的工具和抽象，但 RAG 是一种可以使用 LangChain 实现的特定技术，可以提高 LLM 输出的质量和可靠性。

您现在可以使用的 GitHub 上十大最佳 RAG 框架

在本文中，我们将探讨 GitHub 上目前可用的十大 RAG 框架。这些框架代表了 RAG 技术的前沿，对于希望实施或改进其 AI 驱动应用程序的开发人员、研究人员和组织来说值得研究。

1. infiniflow 的 RAGFlow

GitHub 星星数：22.2k

​

RAG 框架：由 infiniflow 提供的 RAGFlow

RAGFlow 是 RAG 框架领域的一个相对较新的参与者，但由于其注重简单性和效率，它很快就获得了关注。该框架旨在通过提供一组预构建的组件和工作流来简化基于 RAG 的应用程序构建过程。RAGFlow 的显著特点包括：

• 直观的工作流程设计界面
• 针对常见用例的预配置 RAG 管道
• 与流行的矢量数据库集成
• 支持自定义嵌入模型

RAGFlow 的用户友好型方法使其成为希望快速制作原型并部署 RAG 应用程序而无需深入研究底层复杂性的开发人员的一个有吸引力的选择。

infiniflow/ragflowhttps://github.com/infiniflow/ragflow

2.deepset-ai 的 Haystack

GitHub 星星数：14.6k

​

RAG 框架：Deepset-ai 的 Haystack

Haystack 是一个功能强大且灵活的框架，用于构建端到端问答和搜索系统。它提供了一种模块化架构，允许开发人员轻松创建用于各种 NLP 任务的管道，包括文档检索、问答和摘要。Haystack 的主要功能包括：

• 支持多种文档存储（Elasticsearch、FAISS、SQL 等）
• 与流行语言模型（BERT、RoBERTa、DPR 等）集成
• 用于处理大量文档的可扩展架构
• 用于构建自定义 NLP 管道的易于使用的 API

Haystack 的多功能性和丰富的文档使其成为希望实施 RAG 系统的初学者和经验丰富的开发人员的绝佳选择。

deepset-ai/haystackhttps://github.com/deepset-ai/haystack

3. stanford-oval的 STORM

GitHub 星星数：13.3k 颗星

​

stanford-oval的 STORM

STORM（斯坦福开源 RAG 模型）是斯坦福大学开发的面向研究的 RAG 框架。虽然与其他一些框架相比，它的星号可能较少，但其学术背景和对尖端技术的关注使其成为对 RAG 技术最新进展感兴趣的研究人员和开发人员的宝贵资源。STORM 的显著特点包括：

• 新型 RAG 算法和技术的实现
• 注重提高检索机制的准确性和效率
• 与最先进的语言模型集成
• 大量文献和研究论文

对于那些想要探索 RAG 技术前沿的人来说，STORM 提供了以学术严谨为后盾的坚实基础。

stanford-oval/stormhttps://github.com/stanford-oval/storm

4. neuml 的 txtai

GitHub 星星数：9.2k

​

RAG 框架：neuml 的 txtai

txtai 是一个多功能的 AI 数据平台，超越了传统的 RAG 框架。它提供了一套全面的工具，用于构建语义搜索、语言模型工作流和文档处理管道。txtai 的主要功能包括：

• 用于高效相似性搜索的嵌入数据库
• 用于集成语言模型和其他AI服务的API
• 自定义工作流程的可扩展架构
• 支持多种语言和数据类型

txtai 的一体化方法使其成为希望在单一框架内实现广泛的 AI 功能的组织的绝佳选择。

neuml/txtaihttps://github.com/neuml/txtai

5. pathcom 的 LLM-App

GitHub 星星数：4.4K

​

LLM-App 由 pathwaycom 提供

LLM-App 是用于构建动态 RAG 应用程序的模板和工具集合。它因专注于实时数据同步和容器化部署而脱颖而出。LLM-App 的主要功能包括：

• 可立即运行的 Docker 容器，可快速部署
• 支持动态数据源和实时更新
• 与流行的 LLM 和矢量数据库集成
• 适用于各种 RAG 用例的可定制模板

LLM-App 注重操作方面和实时功能，这使其成为希望部署生产就绪 RAG 系统的组织的一个有吸引力的选择。

pathwaycom/llm-apphttps://github.com/pathwaycom/llm-app

6. SciPhi-AI 的 R2R

GitHub 星星数：3.6k

​

SciPhi-AI 的 R2R

R2R（检索到检索）是一种专门的 RAG 框架，专注于通过迭代优化来改进检索过程。虽然它的评分可能较低，但其创新的检索方法使其成为一个值得关注的框架。R2R 的关键方面包括：

• 新型检索算法的实现
• 支持多步骤检索过程
• 与各种嵌入模型和向量存储集成
• 分析和可视化检索性能的工具

对于有兴趣突破检索技术界限的开发人员和研究人员，R2R 提供了一套独特而强大的工具。

7. truefoundry 的 Cognita

GitHub 星星数：3.3k 颗星

​

truefoundry 的 Cognita

Cognita 是 RAG 框架领域的新进入者，专注于提供构建和部署 AI 应用程序的统一平台。虽然与其他一些框架相比，它的星级较低，但其全面的方法和对 MLOps 原则的重视使其值得考虑。Cognita 的显著特点包括：

• 用于 RAG 应用程序开发的端到端平台
• 与流行的 ML 框架和工具集成
• 内置监控和可观察性功能
• 支持模型版本控制和实验跟踪

Cognita 对 AI 应用程序开发的整体方法使其成为希望简化整个 ML 生命周期的组织的有力选择。

truefoundry/cognitahttps://github.com/truefoundry/cognita

8. RUC-NLPIR 的 FlashRAG

GitHub 星星数：1.3k 颗星

​

RUC-NLPIR 的 FlashRAG

FlashRAG 是由中国人民大学自然语言处理与信息检索实验室开发的轻量级高效 RAG 框架。虽然它的星级可能较少，但它对性能和效率的关注使其成为值得关注的竞争者。FlashRAG 的关键方面包括：

• 优化检索算法以提高速度
• 支持分布式处理和扩展
• 与流行语言模型和向量存储集成
• 基准测试和性能分析工具

对于速度和效率至关重要的应用程序，FlashRAG 提供了一套专门的工具和优化。

RUC-NLPIR/FlashRAGhttps://github.com/RUC-NLPIR/FlashRAG

9. Satellitecomponent 的Neurite

GitHub 星星数：1.1k

​

由 satellitecomponent 提供的神经突

Neurite 是一个新兴的 RAG 框架，旨在简化构建 AI 驱动应用程序的过程。虽然与其他一些框架相比，它的用户群较小，但它注重开发人员体验和快速原型设计，值得探索。Neurite 的显著特点包括：

• 用于构建 RAG 管道的直观 API
• 支持多种数据源和嵌入模型
• 内置缓存和优化机制
• 自定义组件的可扩展架构

Neurite 强调简单性和灵活性，这使其成为希望在其应用程序中快速实现 RAG 功能的开发人员的一个有吸引力的选择。

satellitecomponent/Neuritehttps://github.com/satellitecomponent/Neurite

10. Pinecone-io 的 Canopy

GitHub 星星数：969

Canopy 是由 Pinecone 公司开发的 RAG 框架，该公司以矢量数据库技术而闻名。它利用 Pinecone 在高效矢量搜索方面的专业知识来提供强大且可扩展的 RAG 解决方案。Canopy 的显著特点包括：

• 与 Pinecone 矢量数据库紧密集成
• 支持流媒体和实时更新
• 高级查询处理和重新排名功能
• 用于管理和版本控制知识库的工具

Canopy 专注于可扩展性和与 Pinecone 生态系统的集成，这使其成为已经使用或考虑使用 Pinecone 满足矢量搜索需求的组织的绝佳选择。

pinecone-io/canopyhttps://github.com/pinecone-io/canopy

结论

RAG 框架的世界是多样化且快速发展的，我们探索的十个框架中的每一个都具有独特的优势和功能。从全面而成熟的 Haystack 到 FlashRAG 和 R2R 等新兴专业框架，都有适合各种需求和用例的解决方案。选择 RAG 框架时，请考虑以下因素：

• 您的项目的具体要求
• 您所需的定制化和灵活性水平
• 框架的可扩展性和性能特征
• 框架周围社区的规模和活动
• 可用的文档和支持的质量

通过仔细评估这些因素并尝试不同的框架，您可以找到最适合您需求的 RAG 解决方案，并帮助您构建更智能、更具有情境感知能力的 AI 应用程序。随着 AI 领域的不断发展，我们可以预期这些框架会不断发展，新的框架也会不断涌现。对于希望在其应用程序和服务中利用 AI 功能的开发人员和组织来说，了解 RAG 技术的最新发展至关重要。