text2sql：SQLCoder的简介、安装、使用方法之详细攻略
SQLCoder 是一个 15B 参数模型，在sql-eval框架上，它的性能优于自然语言到 SQL 生成任务，并且明显优于所有流行的开源模型。在给定架构上进行微调时，它的性能也优于SQLCoder 在基本的 StarCoder 模型上进行了微调。性能对比：在 SQL 生成任务的评估框架上，SQLC
马斯克开源 Grok：参数量近 Llama 四倍，成全球最大开源模型
将 Grok 限制为仅 X（较小的全球社交平台之一）的付费订阅者的访问，意味着它尚未具有 OpenAI 的 ChatGPT 或 Google 的 Gemini 的吸引力。随后，外媒《连线》和其他公司对 Grok 进行了测试，结果表明，尽管 Grok 的回答会有些挑衅，但它并没有以某种方式存在很大的偏
基于Google Vertex AI 和 Llama 2进行RLHF训练和评估
基于人类反馈的强化学习（RLHF）实战
LLaMA-Factory 基于docker的大模型多卡分布式微调
LLaMA-Factory是一个相当优秀的微调框架。这里提供一个dockerfile和一个train脚本，用于多卡微调，供大家参考。
用GGUF和Llama .cpp量化Llama模型
GGML是一个专注于机器学习的C语言库。它是由Georgi Gerganov创建的，这是GG的首字母缩写。这个库不仅提供了机器学习的基本元素，如张量，而且还提供了一种独特的二进制格式来分发llm。该格式最近更改为GGUF。这种新格式被设计为可扩展的，因此新特性不会破坏与现有模型的兼容性。它还将所有元
Llama中文大模型-模型量化
对中文微调的模型参数进行了量化，方便以更少的计算资源运行。上传了13B中文微调模型。
使用Llama 2大语言模型搭建本地自己的聊天机器人(群晖Docker篇)
随着ChatGPT 和open Sora 的热度剧增,大语言模型时代,开启了AI新篇章,大语言模型的应用非常广泛，包括聊天机器人、智能客服、自动翻译、写作助手等。它们可以根据用户输入的文本生成相应的响应，提供个性化的建议和服务,目前大部分大语言模型的产品都是基于网络线上的,如果我们本地想自己部署一个
详解各种LLM系列｜（2）LLaMA 2模型架构、 预训练、SFT内容详解 (PART-1)
LLaMA 2模型架构、 预训练、SFT内容详解
Meta开源大模型LLaMA2的部署使用
Llama2开源且免费用于研究和商业用途，接受2万亿个标记的训练，上下文长度是Llama1的两倍。Llama2包含了70亿、130亿和700亿参数的模型。
从AI推理性能优化角度看LLaMA的模型结构和源码
几个月前，FB开源了LLAMA，LLAMA1包括三个参数量的模型7B、13B、65B， 证明了完全可以通过公开数据集来训练最先进的模型，而无需使用专有和不可获取的数据集，同时LLaMA-13B 在大多数benchmark优于 GPT-3，尽管大小只有后者的1/10。在更大规模上，LLaMA-65B
全球最强开源大模型一夜易主！谷歌Gemma 7B碾压Llama 2 13B，今夜重燃开源之战
谷歌发布全球最强开源大模型Gemma，7B性能超越Llama 2 13B！谷歌和OpenAI，已经卷出了新高度。这轮番放深夜炸弹的频率，让人不得不怀疑双方都已经攒了一堆大的。
基于AI的RAG需要真正面对商业化场景和落地的几大致命陷井
人人在谈AI，可是AI落地在哪？AI到底可以给我们带来什么？为什么AI火了一年多，几乎看不到AI在垂直领域的大规模落地？在使用AI落地时有哪些坑需要避免？本文给你一一列出。而且每一个坑都是招招毙命的坑，希望借此文为更多的AI落地贡献出自己一份微薄的力量
text-generation-webui搭建大模型运行环境与踩坑记录
text-generation-webui是一个基于Gradio的LLM Web UI开源项目，可以利用其快速搭建部署各种大模型环境。
个人 AI 的革命：Nvidia‘s Chat with RTX 深度探索
Nvidia推出的 Chat with RTX 预示着个人 AI 新时代的到来。2 月 13 日，Nvidia 官宣了自家的 AI 聊天机器人，这不仅是人工智能交互的渐进式改进；更代表了个人如何利用自己的数据进行洞察、研究和知识发现的巨大转变。
每周AI新闻（2024年第3周）Meta研发Llama 3 | 苹果Vision Pro预售 | 智谱AI发布GLM-4
我是陌小北，一个正在研究硅基生命的、有趣儿的碳基生命。每周日20:00，准时解读每周AI大事件。
仅需5行代码，从HuggingFace到昇腾人工智能计算中心
HuggingFace Transformers用户的福音来了，昇腾推出高阶迁移工具Optimum Ascend ，只需几行代码可以让Transformers用户能够简单直接地在昇腾人工智能计算中心进行模型训练、微调和评估。在进行模型训练时，首先要设置好优化器。为了验证训练的有效性，可以看看一个原始
Llama中文社区开源预训练Atom-7B-chat大模型体验与本地化部署实测(基于CPU，适配无GPU的场景)
Llama中文社区开源预训练Atom-7B-chat大模型体验与本地化部署实测(基于CPU，适配无GPU的场景)
Mistral AI vs. Meta:顶级开源LLM比较
本文将比较Mistral 7B vs Llama 2 7B and Mixtral 8x7B vs Llama 2 70B
Llama2通过llama.cpp模型量化 Windows&Linux本地部署
本地部署和使用llama.cpp进行量化Llama2，linux和Windows平台方案，支持CPU和GPU多版本。
使用LM Studio在本地运行LLM完整教程
LM Studio是一个免费的桌面软件工具，它使得安装和使用开源LLM模型非常容易。
