Pytorch学习笔记(8):正则化(L1、L2、Dropout)与归一化(BN、LN、IN、GN)

Pytorch学习笔记(8):正则化(L1、L2、Dropout)与归一化(BN、LN、IN、GN)超级详细!

【人工智能概论】 变分自编码器(Variational Auto Encoder , VAE)

变分自编码器(Variational Auto Encoder , VAE)

LoRAShear:微软在LLM修剪和知识恢复方面的最新研究

LoRAShear是微软为优化语言模型模型(llm)和保存知识而开发的一种新方法。它可以进行结构性修剪,减少计算需求并提高效率。

人工智能概览

1.人工智能定义2.人工智能发展历史3.人工智能产业生态4.人工智能落地挑战5.人工智能发展趋势

【深度学习】基于华为MindSpore的手写体图像识别实验

在MNIST文件夹下建立train和test两个文件夹,train中存放train-labels-idx1-ubyte和train-images-idx3-ubyte文件,test中存放t10k-labels-idx1-ubyte和t10k-images-idx3-ubyte文件。同时,因为全连接网

感受野是什么?

在卷积神经网络中,感受野(Receptive Field)是指特征图上的某个点能看到的输入图像的区域,即特征图上的点是由输入图像中感受野大小区域的计算得到的。因此感受野的值可以用来大致判断每一层的抽象层次。公式求取的感受野通常很大,而实际的有效感受野(Effective Receptive Fiel

【值得收藏】机器学习实战项目汇总(初级、中级、高级)

大家都知道,教科书上所学与实际操作还是有出入的,那关于机器学习有什么好的项目可以实操吗?这次给大家分享一个涵盖面向初学者,中级专家和专家的23种机器学习项目创意,以获取有关该增长技术的真实经验。这些机器学习项目构想将帮助你了解在职业生涯中取得成功、和当下就业所需的所有实践。通过项目学习是你短期内能做

人工智能、机器学习、深度学习的区别

人工智能涵盖范围最广,它包含了机器学习;而机器学习是人工智能的重要研究内容,它又包含了深度学习。

【深度学习】实验1答案:Softmax实现手写数字识别

【深度学习】实验1答案:Softmax实现手写数字识别

学习如何使用GPT2进行文本生成(torch+transformers)

GPT2是OPen AI发布的一个预训练语言模型,见论文《Language Models are Unsupervised Multitask Learners》,GPT-2利用单向Transformer的优势,做一些BERT使用的双向Transformer所做不到的事。那就是通过上文生成下文文本。

DINO在Windows环境下训练 自定义数据集

DINO: 让目标检测拥抱Transformer

Spectron: 谷歌的新模型将语音识别与语言模型结合进行端到端的训练

Spectron是谷歌Research和Verily AI开发的新的模型。与传统的语言模型不同,Spectron直接处理频谱图作为输入和输出。该模型消除归纳偏差,增强表征保真度,提高音频生成质量。

【人工智能】LLM大模型中的词嵌入和上下文理解技术实例讲解,附具体的代码例子

词嵌入(Word Embeddings)可以将高维的文本数据转换成低维的稠密向量表示,在进行自然语言处理任务时,这样的表示方式可以帮助算法理解词语之间的相似性以及上下文关系。以下是一个使用 TensorFlow 和 Keras 实现 Word2Vec 词嵌入模型的代码实例。

【AI】了解人工智能、机器学习、神经网络、深度学习

【AI】了解人工智能、机器学习、神经网络、深度学习。

基于BILSTM时间序列预测 python程序

基于BILSTM时间序列预测 python程序

VOC数据集格式转COCO数据集格式

VOC数据集转COCO数据集

【AI】深度学习——人工智能、深度学习与神经网络

表示学习与深度学习:传统机器学习是对经过特征工程抽取后的特征进行运算,而特征工程的作用就是消除语义鸿沟,与深度学习结合的特征抽取也称为表示学习深度学习可以用一系列非线性函数的复合表示深度学习天然是神经网络,介绍了人类大脑机制,与神经元的工作机制,人工神经网络有三种模型(前馈,记忆,图网络),且本身是

目标检测算法——收藏|小目标检测的定义(一)

目标检测算法——收藏|小目标检测的定义(一)。小目标检测一直以来是计算机视觉领域中的一个难点和研究热点。本期小海带主要对小目标检测的定义与难点进行全面总结,有需要的小伙伴赶快收藏起来!!!

7.卷积和Transformer结合的ViT

前面两节课我们讲了Swin Transformer的结构,以及其中的细节部分,进行了实现,其中由Swin Block 以及 Patch Merging等等,上节课讲了 SW-MSA的shift和mask,对于shift之后,其中window中需要的保留,不需要的去掉,用到了boardcasting等

下载及安装NCCL教程

nccl下载安装参考。