开源嵌入模型对比:让你的RAG检索又快又准
这篇文章会讲清楚嵌入是什么、怎么工作的,还有怎么挑选合适的模型。
REFRAG技术详解:如何通过压缩让RAG处理速度提升30倍
meta提出了一个新的方案REFRAG:与其让LLM处理成千上万个token,不如先用轻量级编码器(比如RoBERTa)把每个固定大小的文本块压缩成单个向量,再投影到LLM的token嵌入空间。
RAG检索质量差?这5种分块策略帮你解决70%的问题
固定分块、递归分块、语义分块、结构化分块、延迟分块,每种方法在优化上下文理解和检索准确性上都有各自的价值。用对了方法,检索质量能提升一大截,幻觉问题也会少很多。
LlamaIndex检索调优实战:分块、HyDE、压缩等8个提效方法快速改善答案质量
分块策略、混合检索、重排序、HyDE、上下文压缩、元数据过滤、自适应k值——八个实用技巧快速改善检索质量
斯坦福ACE框架:让AI自己学会写prompt,性能提升17%成本降87%
Agentic Context Engineering (ACE)。核心思路:不碰模型参数,专注优化输入的上下文。让模型自己生成prompt,反思效果,再迭代改进。
氛围编程陷阱:为什么AI生成代码正在制造大量"伪开发者"
这是一篇再国外讨论非常火的帖子,我觉得不错所以把它翻译成了中文。
vLLM 吞吐量优化实战:10个KV-Cache调优方法让tokens/sec翻倍
十个经过实战检验的 vLLM KV-cache 优化方法 —— 量化、分块预填充、前缀重用、滑动窗口、ROPE 缩放、后端选择等等 —— 提升 tokens/sec。
vLLM推理加速指南:7个技巧让QPS提升30-60%
下面这些是我在实际项目里反复用到的几个调优手段,有代码、有数据、也有一些踩坑经验。
打造自主学习的AI Agent:强化学习+LangGraph代码示例
本文会从RL的数学基础讲起,然后深入到知识图谱的多跳推理,最后在LangGraph框架里搭建一个RL驱动的智能系统。
向量存储vs知识图谱:LLM记忆系统技术选型
要让LLM准确提取历史信息、理解过往对话并建立信息关联,需要相当复杂的系统架构。
Google开源Tunix:JAX生态的LLM微调方案来了
**Tunix(Tune-in-JAX)**是一个**用于LLM后训练的JAX原生库**,旨在通过JAX的速度和可扩展性简化监督微调、强化学习和蒸馏,可以与Flax NNX无缝集成。
Min-p采样:通过动态调整截断阈值让大模型文本生成兼顾创造力与逻辑性
Min-p 采样的出现为大语言模型文本生成领域带来了新的思路。它通过动态调整采样阈值,让模型能够在不同的上下文中灵活地平衡创造性与连贯性
从零构建能自我优化的AI Agent:Reflection和Reflexion机制对比详解与实现
本文重点讨论Reflection和Reflexion,并用LangChain与LangGraph来实现完整的工作流程。
AI智能体框架怎么选?7个主流工具详细对比解析
本文将深入解析当前主流的智能体框架,帮助你根据项目需求、技术能力和业务目标,做出最明智的技术选择。
AI智能体开发实战:17种核心架构模式详解与Python代码实现
本文将逐一深入解析这17种不同的智能体架构
RAG系统嵌入模型怎么选?选型策略和踩坑指南
本文将说明嵌入的基本原理与重要性、列出选型时的关键考量,并对典型模型与适用场景给出实用建议,帮助你为 RAG 系统挑选既高效又稳健的嵌入方案。
从零开始训练推理模型:GRPO+Unsloth改造Qwen实战指南
这篇文章会先介绍 GRPO的基本概念,然后我们会动手写代码训练一个推理 LLM,在实践中理解整个流程。
SAPO去中心化训练:多节点协作让LLM训练效率提升94%
SAPO提出了一种去中心化的异步RL方案,让各个计算节点之间可以互相分享rollouts,避开了传统并行化训练的各种瓶颈。
AI智能体开发实战:从提示工程转向上下文工程的完整指南
本文深入探讨如何构建生产级智能体工作流,重点介绍"上下文工程"这一核心概念。从自然语言到工具调用的转换、提示内容的完全掌控、上下文窗口的精准管理,到工具作为结构化输出的设计思路。
用Context Offloading解决AI Agent上下文污染,提升推理准确性
通过本文,我们看到了如何在agent工作流中有效处理上下文污染。文章实现了上下文卸载,这些方法帮助模型专注于手头任务,不被无关信息干扰。