LLM@本地语言大模型部署工具@ollama等@Gemma@qwen等开源大模型的安装与使用
开始安装模型(这里使用的电脑没有GUP太low,所以选择用cpu就可以运行的2b模型(20亿参数),对内存要求也不高,我这里只有约8GB内存)进入docker和退出docker都挺耗时的,需要耐心一些(但是一般也不会超过2分钟,否则就可能是出问题了),毕竟是虚拟机操作。低配电脑还是不要本地大模型了,
谷歌开源的LLM大模型 Gemma 简介
谷歌推出了 Gemma，一个开放大型语言模型 (LLM) 的尖端系列，标志着其致力于开源人工智能的重要一步。同时Gemma 与 Hugging Face 平台的无缝集成，可以让AIGC爱好者更好的去使用。Gemma 是基于 Gemini 技术推出的四款新型大型语言模型（LLM），提供了 2B 和 7
LLM系列 | 01: 亲测ChatGPT最强竞品Claude，且无需翻墙、注册简单、免手机号
春风桃李花开日，秋雨梧桐叶落时。小伙伴好，我是微信公众号《小窗幽记机器学习》的小编：卖核弹的小女孩。
【AI视野·今日NLP 自然语言处理论文速览 第八十一期】Mon, 4 Mar 2024
AI视野·今日CS.NLP 自然语言处理论文速览Mon, 4 Mar 2024Totally 48 papers👉上期速览✈更多精彩请移步主页Daily Computation and Language PapersMitigating Reversal Curse via Semantic-a
使用Tokeniser估算GPT和LLM服务的查询成本
Tokeniser包可以有效地计算文本输入中的令牌来估算这些成本。本文将介绍如何使用Tokeniser有效地预测和管理费用。
AI大模型开发架构设计（1）——LLM大模型Agent剖析和应用案例实战
LLM Agent 可以理解为一个以 LLM 为大脑的智能体(类比人)，集成了规划、记忆、工具使用等能力。当“记忆”非常多时，如何在大量“记忆”力快速找到最相关的那些“记忆”?Auto-GPT 的效果很大程度上归功于它复杂的。工具使用能力-function calling。工具使用能力-Huggin
text-generation-webui搭建大模型运行环境与踩坑记录
text-generation-webui是一个基于Gradio的LLM Web UI开源项目，可以利用其快速搭建部署各种大模型环境。
【AI视野·今日NLP 自然语言处理论文速览 第七十九期】Thu, 18 Jan 2024
AI视野·今日CS.NLP 自然语言处理论文速览Thu, 18 Jan 2024Totally 35 papers👉上期速览✈更多精彩请移步主页Daily Computation and Language PapersDeciphering Textual Authenticity: A Gen
Jan AI本地运行揭秘：首次体验，尝鲜科技前沿
IT之家 1 月 20 日发布消息称，Jan AI 是一款免费的 ChatGPT AI 替代软件，100% 本地运行、100% 开放源代码。
AI大模型学习笔记之二：什么是 AI 大模型的训练和推理？
在人工智能（AI）的领域中，我们经常听到训练（Training)和推理（Inference)这两个词汇，它们是构建强大 AI 模型的关键步骤。我们通过类比人类的学习过程来理解这两个概念，可以更加自然而生动地理解AI大模型的运作原理。
翻译: 负责任的人工智能 Responsible AI
负责任的人工智能指的是以道德、值得信赖和社会负责任的方式开发和使用人工智能。许多开发者、企业和政府都关心这一点，并且一直在进行对话，也在努力确保人工智能的构建和使用是负责任的。由于对负责任的人工智能的所有这些关注和努力，我们在过去几年实际上取得了相当大的进展，例如，许多政府和公司发布了负责任人工智能
Amazon Bedrock ——使用Prompt构建AI软文撰写师的生成式人工智能应用程序
登录Amazon Bedrock的控制台后：https://aws.amazon.com/cn/bedrock/?可以看到Amazon Bedrock支持多个基础模型（foundation model）,其中包括Amazon Titan，Claude，Jurassic，Command，Stable
2023年最具影响力的10篇AI论文（Sebastian Raschka推荐）
Pythia — 大模型该如何训练？《Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling》Llama 2 — 开源模型之王《Llama 2: Open Foundation and Fine-
大语言模型的三种主要架构 Decoder-Only、Encoder-Only、Encoder-Decoder
f基于 Transformer 模型以非灰色显示：decoder-only 模型在蓝色分支，encoder-only 模型在粉色分支，encoder-decoder 模型在绿色分支。模型在时间线上的垂直位置表示它们的发布日期。开源模型由实心方块表示，而闭源模型由空心方块表示。右下角的堆积条形图显示了
Mistral AI：探索LLM推理的吞吐、时延及成本空间
选择正确的LLM推理栈意味着选择适合你的任务的正确模型，并配以适当的推理代码在适当的硬件上运行。本文介绍了流行的LLM推理堆栈和设置，详细说明其推理的成本构成；并讨论当前的开源模型以及如何充分利用它们，同时还涉及当前开源服务栈中仍然缺失的功能，以及未来模型将解锁的新功能。本文源自MistralAI首
LLM大模型推理加速 vLLM；docker推理大模型；Qwen vLLM使用案例；模型生成速度吞吐量计算
参考：https://vllm.readthedocs.io/en/latest/getting_started/quickstart.html ##文档加速原理：PagedAttention，主要是利用kv缓存。
LangChain 27 AI Agents角色扮演多轮对话解决问题CAMEL
对话和基于聊天的语言模型的快速发展已经取得了在复杂任务解决方面的显著进展。然而，它们的成功在很大程度上依赖于人类输入来引导对话，这可能具有挑战性且耗时。本文探讨了构建可扩展技术以促进沟通代理之间的自主合作，并洞察其“认知”过程的潜力。为了解决实现自主合作的挑战，我们提出了一个名为角色扮演的新型沟通代
【AI视野·今日NLP 自然语言处理论文速览 第七十一期】Fri, 5 Jan 2024
AI视野·今日CS.NLP 自然语言处理论文速览Fri, 5 Jan 2024Totally 28 papers👉上期速览✈更多精彩请移步主页Daily Computation and Language PapersLLaMA Pro: Progressive LLaMA with Block
【人工智能新闻】2023年人工智能热门新闻
做一个简单介绍，酒研年近48 ，有20多年IT工作经历，目前在一家500强做企业架构．因为工作需要，另外也因为兴趣涉猎比较广，为了自己学习建立了三个博客，分别是【全球IT瞭望】，【架构师研究会】和【开发者开聊企业架构师需要比较广泛的知识面，了解一个企业的整体的业务，应用，技术，数据，治理和合规。之前
LangChain 35: 安全最佳实践深度防御Security
LangChain拥有与各种外部资源（如本地和远程文件系统、API和数据库）的大型生态系统集成。这些集成使开发人员能够创建多功能的应用程序，将LLMs的强大功能与访问、交互和操作外部资源的能力相结合。
