PyTorch小技巧:使用Hook可视化网络层激活(各层输出)

这篇文章将演示如何可视化PyTorch激活层。可视化激活,即模型内各层的输出,对于理解深度神经网络如何处理视觉信息至关重要,这有助于诊断模型行为并激发改进。

时空图神经网络ST-GNN的概念以及Pytorch实现

对于时空图神经网络Spatail-Temporal Graph来说,最简单的描述就是在原来的Graph基础上增加了时间这一个维度,也就是说我们的Graph的节点特征是会随着时间而变化的。

​5种常用于LLM的令牌遮蔽技术介绍以及Pytorch的实现

本文将介绍大语言模型中使用的不同令牌遮蔽技术,并比较它们的优点,以及使用Pytorch实现以了解它们的底层工作原理。

大模型中常用的注意力机制GQA详解以及Pytorch代码实现

分组查询注意力 (Grouped Query Attention) 是一种在大型语言模型中的多查询注意力 (MQA) 和多头注意力 (MHA) 之间进行插值的方法,它的目标是在保持 MQA 速度的同时实现 MHA 的质量。

人工智能|各名称与概念之介绍

总的来说,我个人比较推荐TensorFlow和PyTorch,它们都是完整的深度学习框架,支持广泛的应用,并且它们的社区和工具都在不断发展。Caffe在某些特定的领域如计算机视觉中仍然是一个高效可靠的选择,尽管它的流行度可能不如前两者。而Keras提供了一个用户友好的接口,使得深度学习更加容易上手,

colab上利用conda管理环境

colab上的环境管理

基于RISC-V架构的AI框架(Pytorch)适配

在RISC-V平台上进行pytorch框架的配置,采用源码编译的方法

人工智能(pytorch)搭建模型24-SKAttention注意力机制模型的搭建与应用场景

大家好,我是微学AI,今天给大家介绍一下人工智能(pytorch)搭建模型24-SKAttention注意力机制模型的搭建与应用场景,本文将介绍关于SKAttention注意力机制模型的搭建,SKAttention机制具有灵活性和通用性,可应用于计算机视觉、视频分析、自然语言处理、医学影像分析和机器

Kaggle 竞赛《LLM - Detect AI Generated Text》高分方案学习报告

作为一名研一学生,本着积累经验的原则,我参加了这次内容为《LLM - Detect AI Generated Text》的 Kaggle 竞赛。比赛结束后,我学习了排名前几位的选手给出的方案,并在此写下自己对一篇高分竞赛方案的学习报告,我挑选了一份人气最高的高分方案(源码和作者在本文最上方),梳理了

Vision Transformers的注意力层概念解释和代码实现

本文将深入探讨注意力层在计算机视觉环境中的工作原理。我们将讨论单头注意力和多头注意力。它包括注意力层的代码,以及基础数学的概念解释。

Pytorch中张量的高级选择操作

在某些情况下,我们需要用Pytorch做一些高级的索引/选择,所以在这篇文章中,我们将介绍这类任务的三种最常见的方法:torch.index_select, torch.gather and torch.take

pytorch环境搭建

记录了安装CUDA、CUDNN、Pytorch等组件的流程,完整搭建Pytorch环境。

PyTorch深度学习实战(37)——CycleGAN详解与实现

CycleGAN 是一种用于无监督图像转换的深度学习模型,它通过两个生成器和两个判别器的组合来学习两个不同域之间的映射关系。CycleGAN 引入循环一致性损失,确保图像转换是可逆的,从而提高生成图像的质量。通过对抗训练和循环一致性损失,CycleGAN 可以实现在没有配对标签的情况下进行图像域转换

跟李沐学AI 安装【动手学深度学习v2】记录

请复制其中一个链接并在浏览器中打开,即可开始使用 Jupyter Notebook。如果您想停止服务器,请使用 Ctrl-C 终止命令两次来确认关闭服务器。这里提示成功启动了 Jupyter Notebook 服务器,并且服务器正在运行中。请注意,由于服务器的环境中没有可运行的浏览器,因此会显示错误

自然语言生成任务中的5种采样方法介绍和Pytorch代码实现

在自然语言生成任务(NLG)中,采样方法是指从生成模型中获取文本输出的一种技术。本文将介绍常用的5中方法并用Pytorch进行实现。

使用PyTorch开发AI大模型

1.背景介绍在过去的几年里,人工智能(AI)技术的发展迅速,尤其是深度学习(Deep Learning)技术,它已经成为解决许多复杂问题的关键技术之一。PyTorch是一个流行的深度学习框架,它提供了易于使用的API,使得开发人员可以快速地构建和训练AI大模型。在本文中,我们将讨论如何使用PyTor

人工智能之配置环境教程二:在Anaconda中创建虚拟环境并在VsCode中使用

孟莉苹,女,西安工程大学电子信息学院,2021级硕士研究生,张宏伟人工智能课题组。研究方向:机器视觉与人工智能。电子邮件:[email protected]安装前先下载安装包,建议在博主已准备好的百度网盘链接中下载:百度网盘链接:https://pan.baidu.com/s/1FgjTixyrP0

【AI】Pytorch 系列:学习率设置

lr_lambda(function or list)- 一个计算学习率调整倍数的函数,输入通常为 step,当有多个参数组时,设为 list。

CUDA与PyTorch版本对应关系

CUDA与PyTorch版本对应关系

PyTorch的10个基本张量操作

本文将介绍一些Pytorch的基本张量操作。