基于Amazon Bedrock的企业级生成式AI平台
Amazon Bedrock 是一项新的 AWS 服务，可让企业通过 API 轻松利用和自定义生成式 AI 模型。公司现在可以构建和扩展人工智能应用程序，而无需管理运行这些模型本身所需的复杂基础设施和维护。Amazon Bedrock 充当“”平台，。一个关键的好处是，它简化了使用公司自己的数据定制
11月推荐阅读的12篇大语言模型相关论文
现在已经是12月了，距离2024年只有一个月了，本文总结了11月的一些比较不错的大语言模型相关论文
ChatGPT规模化服务的经验与教训
2022年11月30日，OpenAI发布ChatGPT，以很多人未曾预料的速度迅速走红。与此同时，由于短时间内用户量的暴涨，导致服务器过载，迫使OpenAI停止新用户的注册。ChatGPT发布这一年，同样的情景发生了好几次。在最近的OpenAI开发日之后，使用量再度激增，随后OpenAI宣布暂停新用
极智AI | LLM大模型部署框架之OpenLLM
大家好，我是极智视界，本文来介绍一下 LLM大模型部署框架之OpenLLM。希望我的分享能对你的学习有一点帮助。
[算法前沿]--002-ChatGPT对安全的影响和开源的LLM大模型资源汇总
从攻防的角度看，是通过防御和反制攻击来保护数据的安全性，其价值在于保护组织的敏感信息和知识产权，减少业务中断和损失，并维护组织的声誉。Chat GPT是生成式人工智能的开山之作，出道即巅峰，是继PC互联网、移动互联网之后又一次革命性创新，其创新性在于突破之前决策式AI基于规则的算法模型框架，跳出之前
开源语言大模型的正确姿势
如今，很多公司都被迫加快步伐，参与到开源语言大模型（LLM）的竞争之中。发布某种形式的开源语言大模型已成为机器学习公司实力的象征。最近，Mistral AI 完成资金筹集，发布了一款拥有 70 亿参数的强大语言模型。尽管更多人参与到开源机器学习生态系统中是有益的，也被很多人视为一个重要的发展趋势，但
LLVM之父Chris Lattner：我的AI基础设施软件构建理念
如果 AI 如此重要，那么为什么软件如此糟糕？创办 Modular 之前，这是让LLVM 之父 Chris Lattner 困扰已久的问题。随后，他与 TensorFlow 的前产品同事 Tim Davis 合作研究模块化解决方案，以解决人工智能开发中庞大、单一、分散的平台问题。2022 年，他们以
LLM时代中的分布式AI
深度学习相较传统机器学习模型，对算力有更高的要求。尤其是随着深度学习的飞速发展，模型体量也不断增长。于是，前几年，我们看到了芯片行业的百家争鸣和性能指标的快速提升。正当大家觉得算力问题已经得到较大程度的缓解时，大语言模型（LLM, Large language model）的兴起又带来了前所未有的挑
【AI实战】大模型 LLM 部署推理框架的 vLLM 应用
大模型 LLM 推理框架的 vLLM 应用
【论文极速读】Prompt Tuning——一种高效的LLM模型下游任务适配方式
Prompt tuning是一种高效的LLM下游任务适配方式
使用 Docker 快速上手中文版 LLaMA2 开源大模型
感慨于昨天 Meta LLaMA2 模型开放下载之后，GitHub 上出现了许多“只有 Readme 文档” 的开源模型项目，并一时间在各个群里疯狂传播，宛如“郁金香泡沫”故事里的期货一般。中午吃饭的时候，和朋友一起吐槽，朋友说，这玩意又不难，今晚整一个吧。也希望能藉此让中文开源生态变的更好一些，于
在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化
LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。
【AI实战】开源大语言模型LLMs汇总
开源大语言模型LLM汇总
模型训练系列：1、用清华ChatGLM-6B模型部署自己的本地AI助手
首先需要搞一台GPU较强的机器，推荐先租一台腾讯云、阿里云等AI训练的机器，T4显卡就行，一般价格是按量付费几毛钱一个小时。最近清华大学开源的ChatGLM-6B语言模型在国际上大出风头，仅仅62亿参数的小模型，能力却很强。#运行ChatGLM6B 的web版聊天程序，即可访问http://主机IP
使用GGML和LangChain在CPU上运行量化的llama2
在本文，我们将紧跟趋势介绍如何在本地CPU推理上运行量化版本的开源Llama 2。
LLM系列 | 02: Vicuna简介及模型部署实测
Vicuna-13B是在LLaMa-13B的基础上使用监督数据微调得到的模型，数据集来自于ShareGPT.com产生的用户对话数据，共70K条。使用 GPT-4 作为判断的初步评估表明，Vicuna-13B 达到了 OpenAI ChatGPT 和 Google Bard 90% 以上的质量，同时
【LLM】Windows本地CPU部署民间版中文羊驼模型踩坑记录
想必有小伙伴也想跟我一样体验下部署大语言模型, 但碍于经济实力, 不过民间上出现了大量的量化模型, 我们平民也能体验体验啦~, 该模型可以在笔记本电脑上部署, 确保你电脑至少有16G运行内存。
模型杂谈：使用 IN8 量化推理运行 Meta “开源泄露”的大模型（LLaMA）
接着之前文章《模型杂谈：快速上手元宇宙大厂 Meta “开源泄露”的大模型（LLaMA）》一文中的话题，继续聊聊如何使用 INT8 量化的方式来让低显存的设备能够将模型运行起来。
