使用PyTorch Profiler进行模型性能分析,改善并加速PyTorch训练

加速机器学习模型训练是所有机器学习工程师想要的一件事。更快的训练等于更快的实验,更快的产品迭代,还有最重要的一点需要更少的资源,也就是更省钱。

AI智能体研发之路-模型篇(五):pytorch vs tensorflow框架DNN网络结构源码级对比

两种框架在定义模型结构时思路基本相同,pytorch基于动态图,更加灵活。tensorflow基于静态图,更加稳定。

【AI大模型】Transformers大模型库(四):AutoTokenizer

本文对使用transformers的AutoTokenizer进行介绍,他最大的特点是允许开发者通过一个统一的接口来加载任何预训练模型对应的分词器(tokenizer),而无需直接指定分词器的精确类型。这意味着,当知道模型的名称时,可以使用AutoTokenizer自动获取与该模型匹配的分词器。

人工智能:Pytorch,TensorFlow,MXNET,PaddlePaddle 啥区别?

学习人工智能的时候碰到各种深度神经网络框架:pytorch,TensorFlow,MXNET,PaddlePaddle,他们有什么区别?PyTorch、TensorFlow、MXNet和PaddlePaddle都是深度学习领域的开源框架,它们各自具有不同的特点和优势。

使用FP8加速PyTorch训练的两种方法总结

在PyTorch中,FP8(8-bit 浮点数)是一个较新的数据类型,用于实现高效的神经网络训练和推理。它主要被设计来降低模型运行时的内存占用,并加快计算速度

未来科技的前沿:深入探讨人工智能的进展、机器学习技术和未来趋势

本文全面回顾了人工智能(AI)的发展历程,从早期概念到今日的先进应用,特别关注机器学习、深度学习和神经网络等关键技术。文章首先定义了AI,阐述了其模仿人类认知功能的核心目的,并透视了AI如何通过学习和适应,不断提升处理复杂任务的能力。随后,文中深入讨论了AI技术的主要分支,包括其工作原理、主要工具及

图神经网络入门示例:使用PyTorch Geometric 进行节点分类

本文介绍的主要流程是我们训练图神经网络的基本流程,尤其是前期的数据处理和加载,通过扩展本文的基本流程可以应对几乎所有图神经网络问题。

Transformers 加速的一些常用技巧

我们今天来总结以下一些常用的加速策略

使用PyTorch实现L1, L2和Elastic Net正则化

在机器学习中,L1正则化、L2正则化和Elastic Net正则化是用来避免过拟合的技术,它们通过在损失函数中添加一个惩罚项来实现。

PyTorch小技巧:使用Hook可视化网络层激活(各层输出)

这篇文章将演示如何可视化PyTorch激活层。可视化激活,即模型内各层的输出,对于理解深度神经网络如何处理视觉信息至关重要,这有助于诊断模型行为并激发改进。

时空图神经网络ST-GNN的概念以及Pytorch实现

对于时空图神经网络Spatail-Temporal Graph来说,最简单的描述就是在原来的Graph基础上增加了时间这一个维度,也就是说我们的Graph的节点特征是会随着时间而变化的。

​5种常用于LLM的令牌遮蔽技术介绍以及Pytorch的实现

本文将介绍大语言模型中使用的不同令牌遮蔽技术,并比较它们的优点,以及使用Pytorch实现以了解它们的底层工作原理。

大模型中常用的注意力机制GQA详解以及Pytorch代码实现

分组查询注意力 (Grouped Query Attention) 是一种在大型语言模型中的多查询注意力 (MQA) 和多头注意力 (MHA) 之间进行插值的方法,它的目标是在保持 MQA 速度的同时实现 MHA 的质量。

人工智能|各名称与概念之介绍

总的来说,我个人比较推荐TensorFlow和PyTorch,它们都是完整的深度学习框架,支持广泛的应用,并且它们的社区和工具都在不断发展。Caffe在某些特定的领域如计算机视觉中仍然是一个高效可靠的选择,尽管它的流行度可能不如前两者。而Keras提供了一个用户友好的接口,使得深度学习更加容易上手,

colab上利用conda管理环境

colab上的环境管理

基于RISC-V架构的AI框架(Pytorch)适配

在RISC-V平台上进行pytorch框架的配置,采用源码编译的方法

人工智能(pytorch)搭建模型24-SKAttention注意力机制模型的搭建与应用场景

大家好,我是微学AI,今天给大家介绍一下人工智能(pytorch)搭建模型24-SKAttention注意力机制模型的搭建与应用场景,本文将介绍关于SKAttention注意力机制模型的搭建,SKAttention机制具有灵活性和通用性,可应用于计算机视觉、视频分析、自然语言处理、医学影像分析和机器

Kaggle 竞赛《LLM - Detect AI Generated Text》高分方案学习报告

作为一名研一学生,本着积累经验的原则,我参加了这次内容为《LLM - Detect AI Generated Text》的 Kaggle 竞赛。比赛结束后,我学习了排名前几位的选手给出的方案,并在此写下自己对一篇高分竞赛方案的学习报告,我挑选了一份人气最高的高分方案(源码和作者在本文最上方),梳理了

Vision Transformers的注意力层概念解释和代码实现

本文将深入探讨注意力层在计算机视觉环境中的工作原理。我们将讨论单头注意力和多头注意力。它包括注意力层的代码,以及基础数学的概念解释。

Pytorch中张量的高级选择操作

在某些情况下,我们需要用Pytorch做一些高级的索引/选择,所以在这篇文章中,我们将介绍这类任务的三种最常见的方法:torch.index_select, torch.gather and torch.take