LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
通过LLM2Vec，我们可以使用LLM作为文本嵌入模型。但是简单地从llm中提取的嵌入模型往往表现不如常规嵌入模型
整合文本和知识图谱嵌入提升RAG的性能
在RAG模型中，文本嵌入和知识嵌入都允许对输入文本和结构化知识进行更全面、上下文更丰富的表示。这种集成增强了模型在答案检索、答案生成、对歧义的鲁棒性和结构化知识的有效结合方面的性能，最终导致更准确和信息丰富的响应。
如何准确的估计llm推理和微调的内存消耗
在本文中，我将介绍如何计算这些模型用于推理和微调的最小内存。这种方法适用于任何的llm，并且精确的计算内存总消耗。
开源向量数据库比较：Chroma, Milvus, Faiss,Weaviate
本文为你提供四个重要的开源向量数据库之间的全面比较，希望你能够选择出最符合自己特定需求的数据库。
微软Phi-3，3.8亿参数能与Mixtral 8x7B和GPT-3.5相媲美，量化后还可直接在IPhone中运行
Phi-3是一系列先进的语言模型，专注于在保持足够紧凑以便在移动设备上部署的同时，实现高性能
5种搭建LLM服务的方法和代码示例
在这篇文章中，我们将总结5种搭建开源大语言模型服务的方法，每种都附带详细的操作步骤，以及各自的优缺点。
使用ORPO微调Llama 3
ORPO是一种新的微调技术，它将传统的监督微调和偏好对齐阶段结合到一个过程中。我们将使用ORPO和TRL库对新的Llama 3 8b模型进行微调。
RAG 2.0架构详解：构建端到端检索增强生成系统
当前RAG的问题在于各个子模块之间并没有完全协调，就像一个缝合怪一样，虽然能够工作但各部分并不和谐，所以我们这里介绍RAG 2.0的概念来解决这个问题。
ORPO偏好优化：性能和DPO一样好并且更简单的对齐方法
ORPO是另一种新的LLM对齐方法，这种方法甚至不需要SFT模型。通过ORPO，LLM可以同时学习回答指令和满足人类偏好。
PiSSA ：将模型原始权重进行奇异值分解的一种新的微调方法
我们开始看4月的新论文了，这是来自北京大学人工智能研究所、北京大学智能科学与技术学院的研究人员发布的Principal Singular Values and Singular Vectors Adaptation（PiSSA）方法。
10个大型语言模型(LLM)常见面试问题和答案解析
今天我们来总结以下大型语言模型面试中常问的问题
推测解码：在不降低准确性的情况下将LLM推理速度提高2 - 3倍
在本篇文章我们将详细讨论推测解码，这是一种可以将LLM推理速度提高约2 - 3倍而不降低任何准确性的方法。我们还将会介绍推测解码代码实现，并看看它与原始transformer 实现相比到底能快多少。
5种常用于LLM的令牌遮蔽技术介绍以及Pytorch的实现
本文将介绍大语言模型中使用的不同令牌遮蔽技术，并比较它们的优点，以及使用Pytorch实现以了解它们的底层工作原理。
为什么大型语言模型都在使用 SwiGLU 作为激活函数？
SwiGLU可以说是在大语言模型中最常用到的激活函数，我们本篇文章就来对他进行详细的介绍。
【AI视野·今日NLP 自然语言处理论文速览 第八十四期】Thu, 7 Mar 2024
AI视野·今日CS.NLP 自然语言处理论文速览Thu, 7 Mar 2024Totally 52 papers👉上期速览✈更多精彩请移步主页Daily Computation and Language PapersThe Heuristic Core: Understanding Subnet
Quiet-STaR:让语言模型在“说话”前思考
本文将介绍一篇3月的论文Quiet-STaR：这是一种新的方法，通过鼓励LLM发展一种“内心独白”的形式来解决这一限制，这种基本原理生成有助于LLM通过完成任务或回答问题所涉及的步骤进行推理，最终获得更准确和结构良好的输出。
使用MergeKit创建自己的专家混合模型：将多个模型组合成单个MoE
在本文中，我们将详细介绍MoE架构是如何工作的，以及如何创建frankenmoe。最后将用MergeKit制作自己的frankenMoE，并在几个基准上对其进行评估。
如何开始定制你自己的大型语言模型
2023年的大型语言模型领域经历了许多快速的发展和创新，发展出了更大的模型规模并且获得了更好的性能，那么我们普通用户是否可以定制我们需要的大型语言模型呢？
Chronos: 将时间序列作为一种语言进行学习
这是一篇非常有意思的论文，它将时间序列分块并作为语言模型中的一个token来进行学习，并且得到了很好的效果。
谷歌开源的LLM大模型 Gemma 简介
谷歌推出了 Gemma，一个开放大型语言模型 (LLM) 的尖端系列，标志着其致力于开源人工智能的重要一步。同时Gemma 与 Hugging Face 平台的无缝集成，可以让AIGC爱好者更好的去使用。Gemma 是基于 Gemini 技术推出的四款新型大型语言模型（LLM），提供了 2B 和 7
