基于PyTorch的大语言模型微调指南:Torchtune完整教程与代码示例
**Torchtune**是由PyTorch团队开发的一个专门用于LLM微调的库。它旨在简化LLM的微调流程,提供了一系列高级API和预置的最佳实践,使得研究人员和开发者能够更加便捷地对LLM进行调试、训练和部署。
Github上的十大RAG(信息检索增强生成)框架
随着对先进人工智能解决方案需求的不断增长,GitHub上涌现出众多开源RAG框架,每一个都提供了独特的功能和特性。
LLM-Mixer: 融合多尺度时间序列分解与预训练模型,可以精准捕捉短期波动与长期趋势
LLM-Mixer通过结合多尺度时间序列分解和预训练的LLMs,提高了时间序列预测的准确性。它利用多个时间分辨率有效地捕捉短期和长期模式,增强了模型的预测能力
RAPTOR:多模型融合+层次结构 = 检索性能提升20%,结果还更稳健
RAPTOR通过结合多个检索模型,构建层次化的信息组织结构,并采用递归摘要等技术,显著提升了检索系统的性能和适应性。
【白嫖 Cloudflare】之免费 AI 服务,从API调用到应用搭建
免费 AI 服务,一学就会,不学后悔
PAIRDISTILL: 用于密集检索的成对相关性蒸馏方法
成对相关性蒸馏(Pairwise Relevance Distillation, PAIRDISTILL)。
扩散引导语言建模(DGLM):一种可控且高效的AI对齐方法
扩散引导语言建模(Diffusion Guided Language Modeling, DGLM)。DGLM旨在结合自回归生成的流畅性和连续扩散的灵活性,为可控文本生成提供一种更有效的方法。
SCoRe: 通过强化学习教导大语言模型进行自我纠错
这是谷歌9月发布在arxiv上的论文,研究者们提出了一种新方法**自我纠错强化学习(SCoRe)**,旨在使大语言模型能够在没有任何外部反馈或评判的情况下"即时"纠正自己的错误。
Minstrel自动生成结构化提示,让AI为AI写提示词的多代理提示生成框架
LangGPT作为一个结构化的提示设计框架,具有良好的系统性和可重用性,易于学习和使用。Minstrel能够通过多代理协作自动生成高质量的结构化提示,在某些情况下甚至超过人类专家的表现。结构化提示(无论是Minstrel生成还是手动编写)在指导LLMs执行任务时表现更好,特别是对于较大规模的模型。然
Minstrel自动生成结构化提示,让AI为AI写提示词的多代理提示生成框架
在人工智能快速发展的今天,如何有效利用大型语言模型(LLMs)成为了一个普遍关注的话题。这是9月份的一篇论文,提出了LangGPT结构化提示框架和Minstrel多代理提示生成系统,为非AI专家使用LLMs提供了强大支持。
最强开源Qwen2.5:本地部署 Ollma/vLLM 实测对比,邀你围观体验
本地部署大模型该用哪款框架?本文以 Qwen2.5 为例,实测了 Ollama/vLLM。综合来看,Ollma 在**存储、计算、效率**三方面,均完爆 vLLM。
MAGICORE:基于多代理迭代的粗到细精炼框架,提升大语言模型推理质量
论文提出了MAGICORE,一个用于粗到细精炼的多代理迭代框架。MAGICORE旨在通过将问题分类为简单或困难,为简单问题使用粗粒度聚合,为困难问题使用细粒度和迭代多代理精炼,从而避免过度精炼。
盘点免费且靠谱的AI大模型 API,统一封装,任性调用!
9家免费且靠谱的AI大模型 API,任性用
GraphRAG 与 RAG 的比较分析
Graph RAG 技术通过引入图结构化的知识表示和处理方法,显著增强了传统 RAG 系统的能力。它不仅提高了信息检索的准确性和完整性,还为复杂查询和多步推理提供了更强大的支持。
让模型评估模型:构建双代理RAG评估系统的步骤解析
我们将介绍一个基于双代理的RAG(检索增强生成)评估系统。该系统使用生成代理和反馈代理,基于预定义的测试集对输出进行评估。或者更简单的说,我们使用一个模型来评估另外一个模型的输出。
MemLong: 基于记忆增强检索的长文本LLM生成方法
本文将介绍MemLong,这是一种创新的长文本语言模型生成方法。MemLong通过整合外部检索器来增强模型处理长上下文的能力,从而显著提升了大型语言模型(LLM)在长文本处理任务中的表现。
使用 vLLM 为多个 LoRA 适配器提供服务
欢迎来到。使用 LoRA 适配器,我们可以针对某项任务或领域专门设计大型语言模型 (LLM)。适配器必须加载到 LLM 之上才能用于推理。对于某些应用,为用户提供多个适配器可能会很有用。例如,一个适配器可以执行函数调用,另一个适配器可以执行非常不同的任务,例如分类、翻译或其他语言生成任务。然而,要使
【AI落地应用实战】Amazon SageMaker JumpStart 体验零一万物的 Yi 1.5 模型
Amazon SageMaker JumpStart 是 Amazon SageMaker 平台的一部分,旨在帮助用户更快、更轻松地启动和开发机器学习项目。这是亚马逊云科技提供的一个非常实用的工具,特别适合那些希望迅速启动和开发机器学习项目的用户。SageMaker JumpStart 可以视为 S
优化采样参数提升大语言模型响应质量:深入分析温度、top_p、top_k和min_p的随机解码策略
本文将详细解析并可视化定义LLM输出行为的采样策略。通过深入理解这些参数的作用机制并根据具体应用场景进行调优,可以显著提升LLM生成输出的质量。