使用 Docker 构建 LLaMA-Factory 环境
使用 Docker 构建 LLaMA-Factory 环境可以简化依赖安装和环境配置。
大模型安全和越狱攻击——《动手学大模型》实践教程第五章
想要得到更好的安全，要先从学会攻击开始。让我们了解越狱攻击如何撬开大模型的嘴！目标：熟悉使用EasyJailbreak工具包；掌握大模型的常用越狱方法的实现与结果。
搞人工智能开源大语言模型GPT2、Llama的正确姿势
目前我们每一小节的内容都讲解得非常慢，因为这是人工智能研发中的最基础知识。如果我们不能扎实掌握这些知识，将很难理解后续更复杂且实用的概念。因此，我们甚至采用一个概念一节的方式来编排内容，区分得清清楚楚、明明白白，以便大家能够非常明确地了解各知识点之间的关联关系和界限。本节将讲述一种在人工智能领域中被
使用Amazon SageMaker JumpStart微调Meta Llama 3.1模型以进行生成式AI推理
还可以在SageMaker JumpStart上找到微调其他变体Meta Llama 3.1模型（8B和70B基础和指令）的代码（[GitHub仓库](https://github.com/aws/amazon-sagemaker-examples/blob/default/ generati
【LLaMA-Factory】【Windows】：在windows操作系统配置大模型微调框架LLaMA-Factory
PyTorch拥有一个庞大的社区和丰富的生态系统，这意味着在使用LLaMA-Factory时，如果遇到问题或需要额外的功能，可以很容易地找到相关的解决方案或库。综上所述，PyTorch、CUDA、Python以及相应模型在LLaMA-Factory框架中各自扮演了重要的角色，共同支持了模型的高效训练
真正的Open AI ——LLaMA颠覆开源大模型
LLaMA（Large Language Model Meta AI）是由Meta（原Facebook）推出的一个大型语言模型系列，旨在通过更小的模型规模和更少的计算资源，实现与其他主流语言模型（如GPT）相媲美的效果。LLaMA模型的开源不仅推动了AI技术的普及和应用，还促进了全球AI生态的积极发
白嫖最强开源AI LIama 3.1 llama-3.2-11b-vision多模态大模型
引用分析工具：分析论文的引用影响力和引用链。高级内容生成与编辑：需要高级编辑和生成能力的应用，如专业文档编辑、创意内容生成等。实时决策支持：快速生成决策建议和支持的应用，如金融决策系统、实时监控系统等。超长文本处理：处理和生成极长文本的应用，如全书分析、长篇论文生成等。高精度语言任务：适合用于要求极
【Linux ubuntu ollama各类问题解决】在Linux下解决ollama更新下载慢，模型默认存放位置
参考文章：https://defagi.com/ai-case/ollama-installation-guide-china/在这篇文章中的最后修改下载地址中，由于目前ollama最新版在0.3.5所以对应的路径需要进行修改v0.3.2修改为v0.3.5，关于ollama最新版本，可以上GitHu
利用 Llama 3.1模型 + Dify开源LLM应用开发平台，在你的Windows环境中搭建一套AI工作流
利用 Llama 3.1模型 + Dify开源LLM应用开发平台，在你的Windows环境中搭建一套AI工作流
【ollama 在linux 上离线部署 本地大模型】
简介如何用ollama 在linux部署大模型
开源推理库介绍：ZML，Distributed Llama，EXO | LeetTalk Daily
“LeetTalk Daily”，每日科技前沿，由LeetTools AI精心筛选，为您带来最新鲜、最具洞察力的科技新闻。开源推理库的出现为机器学习模型的部署、监控和扩展提供了强大的支持。我们介绍三个重要的开源推理库：ZML、Distributed Llama 和 EXO。这些库不仅为开发者提供了灵
AI-Ollama安装部署总结
Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架。Ollama 提供了简单的命令行界面，使得用户能够轻松地下载、运行和管理大型语言模型，无需复杂的配置和环境设置。Ollama 支持多种流行的语言模型，用户可以根据需求选择合适的模型进行使用，灵活性高。Ollama 可以与现有的应
如何在 Ubuntu 下无障碍安装 Ollama：通过手动下载和修改脚本解决网络问题的完整指南
通过手动下载必要文件并修改安装脚本，你可以有效解决由于网络问题导致的 Ollama 安装失败。这种方法特别适合在受限网络环境下工作或部署的用户。希望这篇指南能帮助你顺利安装 Ollama，并在你的开发环境中开始使用这款工具。如果你在安装过程中遇到其他问题，欢迎在评论区分享，我会尽力提供帮助。作者简介
大模型API调用（一）简单用法
大模型API调用是指通过编程接口（API）访问大型人工智能模型，以实现自然语言处理、代码生成、内容创作等多种功能。大模型的API扮演了一个接口（Interface）的角色，它允许用户以编程方式与大模型进行交互，而无需深入了解模型内部的复杂结构和算法。这种模式类似于模型即服务（Model as a S
本地运行 AI 有多慢 ? 大模型推理测速 (llama.cpp, Intel GPU A770)
通过llama.cpp运行 7B.q4 (4bit 量化), 7B.q8 (8bit 量化) 模型, 测量了生成式 AI 语言模型在多种硬件上的运行 (推理) 速度.根据上述测量结果, 可以得到以下初步结论:(1)显存 (内存) 大就是正义!大, 就是正义!!限制能够运行的模型规模的最主要因素, 就
【实战】Llama3.1-部署与使用
丹摩平台部署 Llama3.1 的 8B 版本实战
笔记本本地部署100b以上千亿级别LLM，并在手机端接入
本文将演示如何在笔记本上运行千亿级模型，后端 Koboldcpp 运行在 Ubuntu ，前端界面使用安卓手机通过 Termux 且使用 SillyTavern 进行连接，模型使用 104B 的的 Q4KM 量化，以及 123B 的的 Q3KM 量化作为演示，两者模型的性能强悍，中文表现良好，可匹敌
英伟达市值一周蒸发4060亿美元，AI时代「卖铲人」怎么就不香了？
对于这家价值 2.5 万亿美元的巨头来说，这些跌幅也向投资者展示了一个更为紧迫的问题：它的波动性现在远远超过了谷歌、苹果、微软、Meta 等美股六巨头，甚至让上蹿下跳的比特币，都显得平静了许多。英伟达上周的「成绩单」，证实了市场的乐观预期。多年来，英伟达在 GPU 和 CUDA 上的投入让它构建了一
面临威胁的人工智能代理综述(AI Agent)：关键安全挑战与未来途径综述
术语。为了便于理解，我们在本文中介绍了以下术语。Planningbrainactionwe call it推理是指一种大型语言模型，旨在分析和推断信息，帮助从给定的提示中得出逻辑结论。另一方面，规划表示一个大型语言模型，用于通过评估可能的结果和优化特定目标来帮助设计策略和做出决策。用于计划和推理的L
LLaMA3技术报告解读
语言模型预训练。将一个大型多语言文本语料库转换为离散的标记，然后在由此产生的数据上预训练一个大型语言模型，以执行下一个标记的预测。在训练过程中使用了8K标记的上下文窗口，在15.6Ttoken上预训练了一个拥有405B参数的模型。在标准预训练之后，还会继续进行预训练，将支持的上下文窗口增加到128k
