AI大模型探索之路-训练篇10：大语言模型Transformer库-Tokenizer组件实践
在自然语言处理（NLP）的世界里，文本数据的处理和理解是至关重要的一环。为了使得计算机能够理解和处理人类的自然语言，我们需要将原始的、对人类可读的文本转化为机器可以理解的格式。这就是Tokenizer，或者我们常说的分词器，发挥作用的地方。
AIGC时代重塑数字安全风控体系
本文主要介绍了AIGC时代重塑数字安全风控体系，希望能对学习网络安全的同学们有所帮助。文章目录1. 数字风控概述2. 数字风控体系架构 2.1 体系构成 2.2 体系运行3. 粉丝福利4. 自主购买
AI大模型探索之路-训练篇21：Llama2微调实战-LoRA技术微调步骤详解
在人工智能领域，大型预训练语言模型（Large Language Models, LLMs）已经成为推动自然语言处理（NLP）任务发展的重要力量。Llama2作为其中的一个先进代表，通过其庞大的参数规模和深度学习机制，展现了在多种NLP任务上的卓越性能。然而，为了使Llama2更好地适应特定的应用场
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
在当前信息技术迅猛发展的时代，知识库的构建与应用已成为企业竞争的关键。随着自然语言处理技术的不断进步，基于微调的企业级知识库改造落地方案受到越来越多的关注。在前面的系列篇章中我们分别实践了基于CVP架构-企业级知识库实战落地和基于基于私有模型GLM-企业级知识库开发实战；本文将深入探讨和实践一种基于
AI大模型探索之路-训练篇15：大语言模型预训练之全量参数微调
在自然语言处理（NLP）领域，预训练模型的应用已经越来越广泛。预训练模型通过大规模的无监督学习，能够捕捉到丰富的语言知识和上下文信息。然而，由于预训练模型通常需要大量的计算资源和时间进行训练，因此在实际使用时，我们往往需要对预训练模型进行微调，以便更好地适应特定的任务需求。本文将介绍全量参数微调的方
AI大模型探索之路-训练篇22： ChatGLM3微调实战-从原理到应用的LoRA技术全解
在自然语言处理的浪潮中，Transformer架构以其独特的设计和卓越性能，成为了大语言模型的基石。ChatGLM3，作为其中的一员，通过微调在特定任务上展现了其强大的适应性和灵活性。本文将深入探讨ChatGLM3的架构设计，微调策略，并提供实战案例，以期为开发者提供宝贵的参考。
AI大模型探索之路-应用篇17：GLM大模型-大数据自助查询平台架构实践
在众多大型企业中，数据资产庞大无比，因此它们纷纷构建了多种大数据平台。然而，关键在于如何高效地利用这些数据，例如，将数据有效地提供给产品经理或数据分析师以供他们进行设计和分析。在传统工作流程中，由于这些角色通常不是技术专家，他们往往无法直接使用和操控SQL，导致必须依赖技术人员来编写SQL查询并返回
我们该如何看待AIGC（人工智能）
[TOC]( 🚀文章目录)---AIGC全称为AI-Generated Content，指基于生成对抗网络GAN、大型预训练模型等人工智能技术，通过已有数据寻找规律，并通过适当的泛化能力生成相关内容的技术。与之相类似的概念还包括Synthetic media，合成式媒体，主要指基于AI生成的文字、
AI大模型探索之路-训练篇17：大语言模型预训练-微调技术之QLoRA
在深度学习的不断进步中，大型语言模型（LLMs）的预训练和微调技术成为了研究的热点。其中，量化技术以其在模型压缩和加速方面的潜力备受关注。本文将深入探讨QLoRA（Quantized Low-Rank Adaptation）技术的原理、实践及应用。
AI大模型探索之路-训练篇23：ChatGLM3微调实战-基于P-Tuning V2技术的实践指南
在人工智能的广阔领域里，大语言模型（LLMs）的微调技术扮演着至关重要的角色。它不仅为模型注入了适应特定任务的能力，而且还是通往专业领域的关键。本文旨在深入探讨基于P-Tuning V2技术的ChatGLM3微调流程，这是一种将因果语言模型与对话优化相结合的优秀实践，我们希望借此引领读者深入了解大模
AIGC技术带给我们什么？基于AIGC原理及其技术更迭的思考
AI，这个词在如今人们的视野中出现频率几乎超过了所有一切其他的事物，更有意思的是，出现频率仅次于这个词的，几乎都会加上一个修饰亦或是前缀——AI，没错，还是它。正值五一假期，我们试着在网上搜索关键词的相应指数，分别对“ai”和“五一”两个词进行对比，我们发现：顶峰时期的”五一“一词也几乎只是达到”a
AI大模型探索之路-训练篇2：大语言模型预训练基础认知
在人工智能的宏伟蓝图中，大语言模型（LLM）的预训练是构筑智慧之塔的基石。预训练过程通过调整庞大参数空间以吸纳数据中蕴含的知识，为模型赋予从语言理解到文本生成等多样化能力。本文将深入探讨预训练过程中的技术细节、所面临的挑战、通信机制、并行化策略以及如何通过这些技术的融合提升预训练的效率和性能。预训练
AI大模型探索之路-训练篇24：ChatGLM3微调实战-多卡方案微调步骤详解
在现代自然语言处理（NLP）任务中，随着模型规模的扩大和训练数据的增多，单张GPU的显存已经无法满足大模型的训练需求。为了充分利用多张GPU进行并行训练，我们需要了解不同的并行策略。本文将详细介绍ChatGLM3微调实战中的多卡方案及其步骤。这三篇论文共同构成了DeepSpeed项目的理论基础，它们
英特尔AI PC发布会
在发布会上，我尝试了使用它来完成一些工作任务，发现它真的非常聪明和贴心，让我感受到了人工智能技术给办公带来的革命性变化。我们平时拍摄的视频，往往存在画面抖动、模糊等问题，但是通过AIPC的AI视频图像处理功能，这些问题都可以得到很好的解决。在发布会上，我亲自体验了这项功能，感受到了它带来的便捷和高效
AI从截图直接生成代码、前端程序员的福音
如果您希望在不同端口上运行后端，请更新 VITE_WS_BACKEND_URLfrontend/.env.local出于调试目的，如果您不想浪费 GPT4-Vision 积分，您可以在模拟模式下运行后端（该模式会传输预先录制的响应）：MOCK=true poetry run uvicorn main
AI数字人制作教程：从零开始打造专属虚拟形象
将目标图片和生成的音频上传至系统后台，选择合适的设置参数，如人脸模型分辨率、是否裁剪为方形、是否重新调整尺寸等。在优秘平台上，输入需要合成的文字，选择喜欢的音色，点击“开始转换”，即可合成语音。在数字化时代，AI数字人已成为一种全新的表达方式。降低成本：相较于传统制作方式，AI数字人无需高昂的演员费
2023年AI领域行业洞察，看这30个统计数据就够了！
随着AIGC的爆火，企业越来越多地开始采用生成式人工智能、自然语言处理 (NLP) 和神经网络来扩展功能，增强用户体验。但这种变化引出了一个复杂的挑战：如何理解和应用生成人工智能统计数据来优化产品，同时维持人工智能支出。在本文中，我们收集了对企业有用的前 30 个生成人工智能统计数据。
【AIGC调研系列】AI赋能软件测试的具体技术实现案例
AI在自动化测试中的最新技术进展包括提高自动化程度、增强智能决策能力、优化测试流程、提供全面的测试分析和报告、无代码测试工具的兴起、基于GenAI的工具实现软件质量自动化以及测试工具和平台的集成化等方面。评估AI生成的测试用例的准确性和效率，首先需要明确AI测试用例的核心目标是确保测试的有效性和结果
AIGC职业技能如何官方考证，如何提升AI下的就业新能力
AIGC工程师已经逐步成为高薪的主流，这个门槛并不高，只是新兴的行业和领域，普通人如何轻松跨入，国家工信部推出培训和考评服务，通过一个服务平台提供完整的学习和考证体系。
AI大模型学习笔记之四：生成式人工智能（AIGC）是如何工作的？
生成式人工智能（AIGC）究竟是怎么运作的呢？在这篇文章里，我们就来简单了解一下生成式人工智能技术（AIGC）的基本原理，看看它到底能做些什么，还有啥时候你可能不太想依赖它。
