AI大模型的预训练、迁移和中间件编程
OpenAI 在 2022 年 11 月推出了人工智能聊天应用—ChatGPT。它具有广泛的应用场景，在多项专业和学术基准测试中表现出的智力水平，不仅接近甚至有时超越了人类的平均水平。这使得 ChatGPT 在推出之初就受到广大用户的欢迎，被科技界誉为人工智能领域的新里程碑。人们在为生成式人工智能所
AI大模型的预训练、迁移和中间件编程
OpenAI 在 2022 年 11 月推出了人工智能聊天应用—ChatGPT。它具有广泛的应用场景，在多项专业和学术基准测试中表现出的智力水平，不仅接近甚至有时超越了人类的平均水平。这使得 ChatGPT 在推出之初就受到广大用户的欢迎，被科技界誉为人工智能领域的新里程碑。人们在为生成式人工智能所
LLMs开源模型们的分布式训练和量化
这篇博文主要整理一下目前流行的训练方法和量化。使通用LLMs适应下游任务的最常见方法是微调所有模型参数或微调尾层参数（Freeze）。然而这会导致每个任务都有一份单独的微调模型参数，训练成本高。- Adapter。冻结原有参数，添加adapter层用于微调。adapter层一般先向下投影，然后非线性
如何从宏观层面构建优秀的大语言模型
本文介绍核心内容为如何从宏观层面构建优秀的大语言模型，希望对学习和使用ChatGPT的同学们有所帮助。文章目录1. 常见误区2. 两个关键定律 2.1 定律一 2.2 定律二3. 预训练、指令微调和强化学习之间的关系4. 大模型的核心能力5. 如何在指令微调上取得较好的效果
ChatDoctor（LLM大模型用于医疗对话）
通用领域中最近的大型语言模型 (LLM)，例如 ChatGPT，在遵循指令和产生类似人类的响应方面取得了显着的成功。在医疗领域，通过利用医患对话数据对大模型进行微调，可以显著促进该模型在医学领域的应用。特别是在医疗资源匮乏的地区，可以使用聊天医生来支持患者的初步诊断和分诊，可以显著提高现有医疗系统的
