从零预训练一个自己的大模型（附Github代码和免费H800使用方法）
从零预训练一个自己的大模型（附代码和在线训练日志）
Pytorch安装
Pytorch的详细安装过程
pytorch-scheduler（调度器）
scheduler（调度器）是一种用于调整优化算法中学习率的机制。学习率是控制模型参数更新幅度的关键超参数，而调度器根据预定的策略在训练过程中动态地调整学习率。优化器负责根据损失函数的梯度更新模型的参数，而调度器则负责调整优化过程中使用的特定参数，通常是学习率。调度器通过调整学习率帮助优化器更有效地
kaggle：Digit Recognizer《手写数字识别》你的第一个图像识别竞赛项目
新手，入门，巩固复习，深度学习，图像识别
【扩散模型思考记录（二）】什么是隐空间？为什么要引入隐空间？
引入隐变量空间（latent space）是生成模型中常用的技术，如变分自编码器（VAE）和生成对抗网络（GAN）。通过这种方法，可以将复杂的高维数据分布映射到一个相对简单的低维隐变量空间，从而简化采样过程。引入隐变量空间的核心思想是通过一个相对简单的低维表示来捕捉数据的复杂分布。这使得我们可以从标
如何从PyTorch迁移到MindSpore
相信做AI开发的小伙伴，有一大半用的都是PyTorch.我之前也是一直用PyTorch做开发。上个月参加了华为昇思25天打卡营，官方提供了充足的算力支持，几乎是不限时间不限量的那种，也让我体验了一把算力自由，好好感受了一番昇思框架。昇思真的是很好用的国产AI框架，但是因为之前的开发都是基于PyTor
Ubuntu22.04中安装cuda, cudnn, pytorch
Ubuntu 22.04中安装cuda, cudnn, pytorch
【202408最新】Anaconda+VSCode+CUDA+Pytorch安装配置保姆级教程
最近新换了电脑，又开始从头配置代码环境，到处看教程真的一个头两个大，干脆自己整理了一下，方便以后一站式重装。也提供给大家参考。
python入门——OSError: [WinError 127] 找不到指定的程序。 Error loading
最近在使用torch的时候突然出现错误，显示OSError: [WinError 127] 找不到指定的程序。我看了一些解决方法，说要重装torch，但我这前几天还没问题，好在我还记得最近下载的包有哪些，最后删除了seaborn包得以解决，在此分享。用anaconda进入环境，然后删除包。
使用PyTorch从零构建Llama 3
本文将详细指导如何从零开始构建完整的Llama 3模型架构，并在自定义数据集上执行训练和推理。
最新大模型架构TTT模型代码解析（一）
这项来自斯坦福大学、加州大学伯克利分校、加州大学圣迭戈分校和 Meta 的研究提出了一个新颖的序列建模方法，称为测试时训练（Test-Time Training, TTT）层。TTT 层通过用机器学习模型取代 RNN 的隐藏状态，并使用输入 token 的实际梯度下降来压缩上下文。研究表明，这种方法
【无线感知】【P7】WIFI 感知实战2- 数据集处理
slide_size = 200 （滑动窗口，帧与帧之间存在overlap,less than window_size!1： 先通过 csv_import 提取训练input,label 到txt(只运行一次,大概18分钟）运行 cross_vali_data_convert_merg
CNN中的注意力机制综合指南：从理论到Pytorch代码实现
本文将全面介绍CNN中的注意力机制，从基本概念到实际实现，为读者提供深入的理解和实践指导。
查看、指定使用的 GPU 数量和编号
在使用 PyTorch 框架时，可以通过以下步骤查看可用的 GPU 数量，指定使用的 GPU 编号，并在代码中体现这一点。
PyTorch数据处理：torch.utils.data模块的7个核心函数详解
本文将深入介绍PyTorch中 torch.utils.data 模块的7个核心函数,这些工具可以帮助你更好地管理和操作数据。
一文彻底搞懂大模型参数高效微调（PEFT）
最近这一两周看到不少互联网公司都已经开始秋招提前批了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。。更多实战和面试交流，加入我们。
使用 Python TorchRL 进行多代理强化学习
本文将深入探讨如何使用 TorchRL 解决 MARL 问题,重点关注多代理环境中的近端策略优化(PPO)。
深入理解GPU内存分配：机器学习工程师的实用指南与实验
给定一个模型架构、数据类型、输入形状和优化器,你能否计算出前向传播和反向传播所需的GPU内存量?
在 Linux 上轻松部署 PyTorch 环境：一步步指南
在这篇文章中，我们将详细介绍如何在 Linux 系统上安装和配置 PyTorch 环境，帮助你顺利进行深度学习模型的开发和训练。通过上述步骤，你已经在 Linux 上成功安装和配置了 PyTorch 环境，并且可以开始进行深度学习的研究和开发。如果你有任何问题或遇到任何困难，PyTorch 的官方文
手把手教你快速安装gpu版本的pytorch
比如pytorch版本是1.10.1（需要对应），环境创建时python版本是3.8 （需要对应），cuda 12.3（比它小的都可以），那么下面几个可以下载，选一个下载，最好装到一个英文路径下。第五步：验证torch安装是否成功，import torch成功说明安装成功，如果torch.cuda.
