如何开始定制你自己的大型语言模型
2023年的大型语言模型领域经历了许多快速的发展和创新，发展出了更大的模型规模并且获得了更好的性能，那么我们普通用户是否可以定制我们需要的大型语言模型呢？
Chronos: 将时间序列作为一种语言进行学习
这是一篇非常有意思的论文，它将时间序列分块并作为语言模型中的一个token来进行学习，并且得到了很好的效果。
谷歌开源的LLM大模型 Gemma 简介
谷歌推出了 Gemma，一个开放大型语言模型 (LLM) 的尖端系列，标志着其致力于开源人工智能的重要一步。同时Gemma 与 Hugging Face 平台的无缝集成，可以让AIGC爱好者更好的去使用。Gemma 是基于 Gemini 技术推出的四款新型大型语言模型（LLM），提供了 2B 和 7
使用GaLore在本地GPU进行高效的LLM调优
，GaLore可以让我们在具有24 GB VRAM的消费级GPU上微调7B模型。结果模型的性能与全参数微调相当，并且似乎优于LoRA。
在16G的GPU上微调Mixtral-8x7B
在本文中，我将展示如何仅使用16 GB的GPU RAM对使用AQLM进行量化的Mixtral-8x7B进行微调。
微调大型语言模型进行命名实体识别
这篇文章总结了命名实体识别(NER)问题微调大型语言模型的经验。我们将以个人身份信息(PII)为例来介绍大型语言模型进行NER微调的方法。
LoRA及其变体概述：LoRA, DoRA, AdaLoRA, Delta-LoRA
在本文中，我们将解释LoRA本身的基本概念，然后介绍一些以不同的方式改进LoRA的功能的变体，包括LoRA+、VeRA、LoRA- fa、LoRA-drop、AdaLoRA、DoRA和Delta-LoRA。
从16-bit 到 1.58-bit ：大模型内存效率和准确性之间的最佳权衡
在本文中，我们将通过使用GPTQ对Mistral 7B、Llama 27b和Llama 13B进行8位、4位、3位和2位量化实验,还要介绍一个大模型的最新研究1.58 Bits，它只用 -1，0，1来保存权重
StarCoder 2：GitHub Copilot本地开源LLM替代方案
在本文中，我们将介绍StarCoder2的一些基本信息，然后建立一个本地环境，搭建StarCoder2-15B模型并用Python, JavaScript, SQL, c++和Java测试其编码能力。
使用TensorRT-LLM进行生产环境的部署指南
TensorRT-LLM是一个由Nvidia设计的开源框架，用于在生产环境中提高大型语言模型的性能。
可视化FAISS矢量空间并调整RAG参数提高结果精度
在本文中，我们将使用可视化库renumics-spotlight在2-D中可视化FAISS向量空间的多维嵌入，并通过改变某些关键的矢量化参数来寻找提高RAG响应精度的可能性。
谷歌Gemma介绍、微调、量化和推理
这篇文章我们将介绍Gemma模型，然后展示如何使用Gemma模型，包括使用QLoRA、推理和量化微调。
LLMs之Gemma：Gemma(Google开发的新一代领先的开源模型)的简介、安装、使用方法之详细攻略
LLMs之Gemma：Gemma(Google开发的新一代领先的开源模型)的简介、安装、使用方法之详细攻略目录Gemma的简介Gemma的安装Gemma的使用方法Gemma的简介2024年2月21日，Gemma是由Google DeepMind推出的一系列开源的大型语言模型（LLM），基于Gemi
【AI视野·今日NLP 自然语言处理论文速览 第七十九期】Thu, 18 Jan 2024
AI视野·今日CS.NLP 自然语言处理论文速览Thu, 18 Jan 2024Totally 35 papers👉上期速览✈更多精彩请移步主页Daily Computation and Language PapersDeciphering Textual Authenticity: A Gen
AI之Sora：Sora(文本指令生成视频的里程碑模型)的简介(能力/安全性/技术细节)、使用方法、案例应用之详细攻略
AI之Sora：Sora(文本指令生成视频的里程碑模型)的简介(能力/安全性/技术细节)、使用方法、案例应用之详细攻略目录相关文章Sora的简介Sora的使用方法Sora的案例应用相关文章AI之Sora：Sora(文本指令生成视频的里程碑模型)的简介(能力/安全性/技术细节)、使用方法、案例应用之
视频生成领域的发展概述:从多级扩散到LLM
在这篇文章中，我们将整理视频生成在最近几年是发展概况，模型的架构是如何发展的，以及现在面临的突出问题。
使用UMAP降维可视化RAG嵌入
在本文中，我们使用LangChain构建RAG应用，并在2D中可视化嵌入，分析查询和文档片段之间的关系和接近度。
从模型到前端，你应该知道的LLM生态系统指南
本文通过介绍这个生态系统的核心组成部分，来详细整理LLM的发展。
MoE-LLaVA:具有高效缩放和多模态专业知识的大型视觉语言模型
MoE-LLaVA利用了“专家混合”策略融合视觉和语言数据，实现对多媒体内容的复杂理解和交互。
使用Mamba和Qdrant数据库实现RAG的代码示例
我们今天来研究一下RAG、Mamba和Qdrant的协同工作，它们的有效组合保证了效率和可扩展性。
