探索AI世界：向AI提问的艺术与技巧 — 解锁AI大语言模型的潜力
它详细介绍了提示工程技巧，涵盖有效提示编写、针对复杂任务的提示设计技巧、对话中的提示设计技巧，以及提示的优化与迭代。《探索AI世界：向AI提问的艺术与技巧》一书深入剖析了这门艺术，为您揭开了AI世界的神秘面纱。这些案例不仅让您更直观地理解了AI的应用，还为您提供了实践中的参考和启发。这本书是一本通俗
AI大模型探索之路-训练篇18：大语言模型预训练-微调技术之Prompt Tuning
随着深度学习和人工智能技术的飞速发展，大语言模型的预训练与微调技术已成为自然语言处理领域的重要研究方向。预训练模型如GPT、BERT等在多种语言任务上取得了显著成效，而微调技术则进一步推动了这些模型在特定任务上的适用性和性能。Prompt Tuning作为一种新兴的微调技术，通过引入虚拟标记（Vir
AI大模型探索之路-基础篇5：GLM-4解锁国产大模型的全能智慧与创新应用
随着人工智能技术的飞速发展，大型预训练语言模型已成为推动行业进步的重要力量。它们在理解自然语言、生成文本、执行复杂任务等方面展现出惊人的能力。在此背景下，国产大模型GLM-4的问世，不仅展现了中国在AI领域的实力，也为国内外研究者和开发者提供了新的研究与应用平台。
Spark Streaming实践
作者：禅与计算机程序设计艺术 1.简介随着互联网、移动互联网、物联网等新型网络的飞速发展，数据量日益增长，如何从海量数据中快速获取有价值的信息，变得越来越重要。目前，大数据的处理主要靠离线计算框架MapReduce。随着云计算、大数据处理的发展，基于云平台的分布
AI大模型探索之路-训练篇1：大语言模型微调基础认知
在人工智能的广阔研究领域内，大型预训练语言模型（Large Language Models, LLMs）已经成为推动技术革新的关键因素。这些模型通过在大规模数据集上的预训练过程获得了强大的语言理解和生成能力，使其能够在多种自然语言处理任务中表现出色。然而，由于预训练过程所产生的模型通常具有泛化特性，
AI大模型探索之路-训练篇3：大语言模型全景解读
大规模语言模型（Large Language Models，LLM），也称大语言模型或大型语言模型，是一种由包含数百亿以上参数的深度神经网络构建的语言模型，通常使用自监督学习方法通过大量无标注文本进行训练。
开源模型应用落地-CodeQwen模型小试-SQL专家测试（二）
使用CodeQwen1.5-7B-Chat模型，帮助开发人员获得高效、准确和个性化的代码支持
AI大模型探索之路-训练篇20：大语言模型预训练-常见微调技术对比
随着人工智能的迅猛发展，自然语言处理（NLP）在近年来取得了显著的进展。大型语言模型（LLMs）在多种NLP任务中展现了卓越的性能，这得益于它们在大规模文本数据集上进行的预训练和随后的微调过程。这些模型不仅能够理解和生成自然语言，还能在特定任务上通过微调达到令人印象深刻的精度和鲁棒性。本文将深入探讨
AI大模型探索之路-训练篇12：语言模型Transformer库-Datasets组件实践
在AI语言模型学习任务中，数据是至关重要的部分。一个高质量的数据集不仅决定了模型的上限，还影响着模型训练的效率和效果。然而，获取、处理和组织数据往往耗时耗力。为了简化这一过程，Hugging Face推出了Datasets组件，它集成了多种公开数据集，支持在线加载、筛选和预处理等功能。通过本文的介绍
AI大模型探索之路-训练篇7：大语言模型Transformer库之HuggingFace介绍
在的官方网站上，您可以发现一个丰富的开源宝库，其中包含了众多机器学习爱好者上传的精选模型，供大家学习和应用。此外，您也可以将自己的模型分享至社区，与他人共同进步。HuggingFace因其开放和协作的精神被誉为机器学习界的GitHub。在这里，用户能够轻松获取到Transformers库里各式各样的
AI大模型探索之路-训练篇8：大语言模型Transformer库-预训练流程编码体验
在深入探索Transformer库及其高级组件之前，我们先手工编写一个预训练流程代码。这一过程不仅有助于理解预训练的步骤和复杂性，而且能让您体会到后续引入高级组件所带来的开发便利性。通过实践，我们将构建一个情感分类模型，该模型能够接收文本评价并预测其是正面还是负面的情感倾向。通过上述步骤，我们手工完
AI大模型探索之路-训练篇5：大语言模型预训练数据准备-词元化
大语言模型训练需要数海量的各类型数据。如何构造海量“高质量”数据对于大语言模型的训练具有至关重要的作用。训练数据是影响大语言模型效果以及样本泛化能力的关键因素之一。通常预训练数据需要涵盖各种类型，包括网络数据、图书、论文、百科和社交媒体等，还需要覆盖尽可能多的领域、语言、文化和视角，从而提高大语言模
AI大模型探索之路-训练篇9：大语言模型Transformer库-Pipeline组件实践
在人工智能和机器学习领域，Pipeline是一种设计模式，它将多个处理步骤串联起来，形成一个有序的、自动化的工作流程。这一概念在自然语言处理（NLP）尤其重要，因为NLP任务通常涉及多个阶段，如文本清洗、特征提取、模型训练或预测等。Pipeline的设计旨在减少重复代码、提高代码的可维护性，并优化整
AI大模型探索之路-训练篇10：大语言模型Transformer库-Tokenizer组件实践
在自然语言处理（NLP）的世界里，文本数据的处理和理解是至关重要的一环。为了使得计算机能够理解和处理人类的自然语言，我们需要将原始的、对人类可读的文本转化为机器可以理解的格式。这就是Tokenizer，或者我们常说的分词器，发挥作用的地方。
Linux快速部署大语言模型LLaMa3，Web可视化j交互（Ollama+Open Web UI）
本文介绍了大规模语言模型的相关概念，并介绍了使用开源工具Ollama部署LLaMa3大模型、使用Open WebUI搭建前端Web交互界面的方法和流程。
AI大模型探索之路-训练篇21：Llama2微调实战-LoRA技术微调步骤详解
在人工智能领域，大型预训练语言模型（Large Language Models, LLMs）已经成为推动自然语言处理（NLP）任务发展的重要力量。Llama2作为其中的一个先进代表，通过其庞大的参数规模和深度学习机制，展现了在多种NLP任务上的卓越性能。然而，为了使Llama2更好地适应特定的应用场
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
在当前信息技术迅猛发展的时代，知识库的构建与应用已成为企业竞争的关键。随着自然语言处理技术的不断进步，基于微调的企业级知识库改造落地方案受到越来越多的关注。在前面的系列篇章中我们分别实践了基于CVP架构-企业级知识库实战落地和基于基于私有模型GLM-企业级知识库开发实战；本文将深入探讨和实践一种基于
Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问
本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具，并安装Open WebUI结合cpolar内网穿透软件，实现在公网环境也能访问你在本地内网搭建的大语言模型运行环境。近些年来随着ChatGPT的兴起，大语言模型 LLM（Large Language Model）也成为了
AI大模型探索之路-训练篇15：大语言模型预训练之全量参数微调
在自然语言处理（NLP）领域，预训练模型的应用已经越来越广泛。预训练模型通过大规模的无监督学习，能够捕捉到丰富的语言知识和上下文信息。然而，由于预训练模型通常需要大量的计算资源和时间进行训练，因此在实际使用时，我们往往需要对预训练模型进行微调，以便更好地适应特定的任务需求。本文将介绍全量参数微调的方
AI大模型探索之路-训练篇22： ChatGLM3微调实战-从原理到应用的LoRA技术全解
在自然语言处理的浪潮中，Transformer架构以其独特的设计和卓越性能，成为了大语言模型的基石。ChatGLM3，作为其中的一员，通过微调在特定任务上展现了其强大的适应性和灵活性。本文将深入探讨ChatGLM3的架构设计，微调策略，并提供实战案例，以期为开发者提供宝贵的参考。
