分布式深度学习训练中DP,DDP,FSDP这三者之间的区别和联系是什么
Data Parallelism 是最基本的并行训练方法，将数据划分为多个小批次，每个小批次在不同的计算单元（如GPU）上独立计算，然后将结果汇总。Distributed Data Parallelism 是一种改进的Data Parallelism方法，通过高效的通信机制，在多个GPU（可能跨越多
深度学习中常用损失函数介绍
选择正确的损失函数对于训练机器学习模型非常重要。不同的损失函数适用于不同类型的问题。本文将总结一些常见的损失函数，并附有易于理解的解释、用法和示例
HBase RowKey设计原理与代码实例讲解
HBase RowKey设计原理与代码实例讲解1. 背景介绍1.1 问题的由来HBase 是一个构建在分布式文件系统（如 HDFS）上的高性能、可扩展、面向列的数据库。它被设计用于处理大规模的数据集，并支持实时读取和写入。H
人工智能会越来越闭源——对话东北大学副教授王言治 | Open AGI Forum
全球围绕大模型开源、闭源的讨论众说纷纭。大模型的未来一定是闭源吗？在模型领域做开源为什么更难？社区将会是扭转开源“落后”的关键吗？GOSIM 独家对话美国东北大学副教授王言治，对以上问题一一解答。
【深度学习】图形模型基础(2)：概率机器学习模型与人工智能
概率建模在机器学习中至关重要，它利用概率分布表达不确定性，通过贝叶斯学习从数据中学习。非参数方法、概率编程、贝叶斯优化和数据压缩等技术展示了概率建模的灵活性和效率。自动建模系统能够发现并解释数据模型。随着大数据的增长，不确定性建模依然关键。概率建模将在未来机器学习和人工智能系统中发挥核心作用，为自动
大语言模型的Scaling Law：如何随着模型大小、训练数据和计算资源的增加而扩展
在这篇文章中，我们将介绍使这些模型运作的秘密武器——一个由三个关键部分组成的法则：模型大小、训练数据和计算能力。通过理解这些因素如何相互作用和规模化，我们将获得关于人工智能语言模型过去、现在和未来的宝贵见解。
【人工智能】Transformers之Pipeline（五）：深度估计（depth-estimation）
本文对transformers之pipeline的深度估计（depth-estimation）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的代码极简的使用计算机视觉中的深度估计（depth-estimation）模型，应用
基于MindSpore实现BERT对话情绪识别
基于MindSpore实现BERT对话情绪识别。
人工智能与伦理挑战：多维度应对策略
人工智能技术近年来取得了迅猛发展，广泛应用于医疗诊断、金融分析、教育辅助、自动驾驶等各个领域，极大地提升了生产效率和服务质量，推动了科技进步和商业创新。然而，伴随其普及和应用的泛滥，AI也带来了数据隐私侵犯、信息茧房、算法歧视、虚假信息传播等诸多问题，导致社会信任危机和伦理道德挑战凸显。这种技术的双
贝叶斯分析与决策理论：用于确定分类问题决策点的应用
在分类问题中，一个常见的难题是决定输出为数字时各类别之间的切分点。
【AI大数据计算原理与代码实例讲解】ElasticSearch
【AI大数据计算原理与代码实例讲解】ElasticSearch作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM
人工智能伦理:AI在安全领域的应用
人工智能伦理:AI在安全领域的应用作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM人工智能伦理:AI在安全领域的应用1.
【深度学习-番外1】Win10系统搭建VSCode+Anaconda+Pytorch+CUDA深度学习环境和框架全过程
本文将介绍在Windows 10系统下搭建深度学习环境的完整过程，包括安装Anaconda、CUDA、NVIDIA显卡驱动以及Pytorch框架。后续本专栏的Python语言下的深度学习环境都以本篇搭建的为准。
Spark Streaming原理与代码实例讲解
Spark Streaming 是Apache Spark生态系统中的核心组件之一,是建立在Spark Core之上的实时流处理框架。它扩展了Spark的核心API,支持弹性,高吞吐,可容错的实时数据流处理。Spark Streaming能够从多种数据源(如Kafka, Flume, HDFS等)实
开源模型应用落地-FastAPI-助力模型交互-进阶篇-中间件（四）
学习FastAPI中高级中间件的相关内容
2024世界人工智能大会：AI产品技术与未来趋势的深度解析
随着2024年世界人工智能大会（WAIC 2024）在上海的圆满落幕，我们见证了人工智能技术的又一次飞跃。本次大会以“以共商促共享，以善治促善智”为主题，汇聚了全球顶尖的智慧，共同探讨了AI技术的未来趋势和应用前景。以下是我们为您精心整理的本次大会的亮点与趋势，希望能够为您的视野增添一抹亮色。
AI：199-利用深度学习进行语音情感分析
我们将使用RAVDESS（Ryerson Audio-Visual Database of Emotional Speech and Song）数据集，该数据集包含了24位不同演员模拟的7种不同情感的语音样本。在本文中，我们深入探讨了利用深度学习进行语音情感分析的方法和应用。首先，我们介绍了深度学习
开源模型应用落地-FastAPI-助力模型交互-进阶篇-Request&Dataclasses（三）
如何在FastAPI中直接使用Request对象和如何使用数据类Dataclasses
用PyTorch从零开始编写DeepSeek-V2
DeepSeek-V2是一个强大的开源混合专家（MoE）语言模型，通过创新的Transformer架构实现了经济高效的训练和推理。该模型总共拥有2360亿参数，其中每个令牌激活21亿参数，支持最大128K令牌的上下文长度。
【AI大模型】RAG 与 Embedding
从而在几乎不影响最终效果的情况下降低向量检索与相似度计算的复杂度。text-embedding-ada-002 只支持1536维计算。
