融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践

本文将深入探讨如何混合AMD/NVIDIA GPU集群以支持PyTorch分布式训练。

PyTorch PINN实战:用深度学习求解微分方程

PINN通过将物理定律(具体表现为微分方程)融入训练过程,显著提高了数据利用效率。

PyTorch内存优化的10种策略总结:在有限资源环境下高效训练模型

本文将系统性地介绍多种内存优化策略,这些技术组合应用可使模型训练的内存消耗降低近20倍,同时不会损害模型性能和预测准确率。以下大部分技术可以相互结合,以获得更显著的内存效率提升。

用PyTorch从零构建 DeepSeek R1:模型架构和分步训练详解

DeepSeek R1 的完整训练流程核心在于,在其基础模型 DeepSeek V3 之上,运用了多种强化学习策略。 本文将从一个可本地运行的**基础模型**起步,并参照其技术报告,**完全从零开始构建** DeepSeek R1

近端策略优化(PPO)算法的理论基础与PyTorch代码详解

近端策略优化(Proximal Policy Optimization, PPO)算法作为一种高效的策略优化方法,在深度强化学习领域获得了广泛应用。特别是在大语言模型(LLM)的人类反馈强化学习(RLHF)过程中,PPO扮演着核心角色。本文将深入探讨PPO的基本原理和实现细节。

PyTorch Profiler 性能优化示例:定位 TorchMetrics 收集瓶颈,提高 GPU 利用率

本文是将聚焦于指标收集,演示指标收集的一种简单实现如何对运行时性能产生负面影响,并探讨用于分析和优化它的工具与技术。

PyTorch生态系统中的连续深度学习:使用Torchdyn实现连续时间神经网络

神经常微分方程(Neural ODEs)是深度学习领域的创新性模型架构,它将神经网络的离散变换扩展为连续时间动力系统

TorchOptimizer:基于贝叶斯优化的PyTorch Lightning超参数调优框架

TorchOptimizer是一个集成了PyTorch Lightning框架和scikit-optimize贝叶斯优化功能的Python库。该框架通过高斯过程对目标函数进行建模,实现了高效的超参数搜索空间探索,并利用并行计算加速优化过程。

深度强化学习实战:训练DQN模型玩超级马里奥兄弟

本文将探讨深度学习在游戏领域的一个具体应用:构建一个能够自主学习并完成**超级马里奥兄弟**的游戏的智能系统。

PyTorch团队为TorchAO引入1-8比特量化,提升ARM平台性能

PyTorch团队针对这一问题推出了创新性的技术方案——在其原生低精度计算库TorchAO中引入低位运算符支持。这一技术突破不仅实现了1至8位精度的嵌入层权重量化

面向强化学习的状态空间建模:RSSM的介绍和PyTorch实现

循环状态空间模型(Recurrent State Space Models, RSSM)最初由 Danijar Hafer 等人在论文《Learning Latent Dynamics for Planning from Pixels》中提出。

PyTorch FlexAttention技术实践:基于BlockMask实现因果注意力与变长序列处理

本文介绍了如何利用torch 2.5及以上版本中新引入的FlexAttention和BlockMask功能来实现因果注意力机制与填充输入的处理。

深度强化学习中SAC算法:数学原理、网络架构及其PyTorch实现

软演员-评论家算法(Soft Actor-Critic, SAC)因其在样本效率、探索效果和训练稳定性等方面的优异表现而备受关注。

使用PyTorch实现GPT-2直接偏好优化训练:DPO方法改进及其与监督微调的效果对比

本文将探讨RLHF技术,特别聚焦于直接偏好优化(Direct Preference Optimization, DPO)方法,并详细阐述了一项实验研究:通过DPO对GPT-2 124M模型进行调优,同时与传统监督微调(Supervised Fine-tuning, SFT)方法进行对比分析。

【人工智能】基于PyTorch的深度强化学习入门:从DQN到PPO的实现与解析

深度强化学习(Deep Reinforcement Learning)是一种结合深度学习和强化学习的技术,适用于解决复杂的决策问题。深度Q网络(DQN)和近端策略优化(PPO)是其中两种经典的算法,被广泛应用于游戏、机器人控制等任务中。本文将从零讲解深度强化学习的基础概念,深入探讨DQN和PPO的核

【AI入门超详细系列】卷积神经网络(CNN)入门指南【Pytorch版】

大家好,我是默子!欢迎来到“默子AI”的世界。今天,我们将深入探索 PyTorch 的强大功能,学习如何使用卷积神经网络(CNN)识别图像数据。无论你是深度学习的新手,还是希望强化实践经验的开发者,这篇教程都将为你提供详尽的指导和深入的解说。准备好了吗?让我们一起开启这段充满干货与乐趣的学习之旅吧!

PyTorch 2.5重磅更新:性能优化+新特性,开发者必看!

这一新版本引入了多项重要更新,包括支持 SDPA(Self-Dot Product Attention)的新 CuDNN 后端、torch.compile 的区域编译功能,以及 TorchInductor C++ 后端带来的性能加速。针对使用NVIDIA GPU的用户,PyTorch 2.5集成了最

Pytorch使用手册- TorchVision目标检测微调Tutorial的使用指南(专题十二)

目标检测、实例分割和人体关键点检测的参考脚本可以轻松支持添加新的自定义数据集。数据集应该继承自标准的类,并实现__len__和方法。我们唯一要求的是,数据集的image,形状为 [3, H, W],可以是一个纯张量,也可以是大小为 (H, W) 的 PIL 图像。target:一个字典,包含以下字段

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈