CPU、GPU、NPU的区别

CPU、GPU、NPU的区别

【深度学习】(1) CNN中的注意力机制(SE、ECA、CBAM),附Pytorch完整代码

大家好,今天和各位分享一下如何使用 Pytorch 构建卷积神经网络中的各种注意力机制,如:SENet,ECANet,CBAM。注意力机制的原理 和 TensorFlow2 的实现方式可以看我下面两篇博文:SENet、ECANet:https://blog.csdn.net/dgvv4/articl

深度解析预训练权重的本质和作用:你真的了解它们吗?

为了训练自定义模型,通常需要使用大量标注好的图像数据来训练模型。但是,当可用的训练数据不够多时,可以使用预训练权重来提高模型的性能。

神经网络数据增强transforms的相关操作(持续更新)

transforms的相关操作(Pytorch)一、图像的相关变化1、格式转换(1)transforms.ToTensor()(2)transforms.ToPILImage()1、图像大小(1)一、图像的相关变化1、格式转换(1)transforms.ToTensor()可将PIL格式、数组格式转

Hugging face预训练模型下载和使用

Hugging face预训练模型下载和使用

基于python实现的生成对抗网络GAN

基于python实现的生成对抗网络GAN

STGCN时空图卷积网络:用于交通预测的深度学习框架

提出了一种新的深度学习架构——时空图卷积网络,用于交通预测任务。该架构包括几个时空卷积块,它们是图卷积层[Defferrard等人,2016]和卷积序列学习层的组合,以建模空间和时间依赖性。据我们所知,在交通研究中应用纯卷积结构同时从图结构时间序列中提取时空特征尚属首次。我们在两个真实世界的交通数据

如何提高bp神经网络精度,改进bp神经网络的方案

人工神经网络,是一种旨在模仿人脑结构及其功能的信息处理系统,就是使用人工神经网络方法实现模式识别.可处理一些环境信息十分复杂,背景知识不清楚,推理规则不明确的问题,神经网络方法允许样品有较大的缺损和畸变.神经网络的类型很多,建立神经网络模型时,根据研究对象的特点,可以考虑不同的神经网络模型. 前馈型

【论文精读】TMI2021医学图像分割 SMU-Net

SMU-Net: Saliency-guided Morphology-aware U-Net for Breast Lesion Segmentation in Ultrasound ImageSMU-Net: 显著引导形态感知U-Net用于超声图像乳腺病变分割深度学习方法,尤其是卷积神经网络已成

神经网络自适应PID控制及其应用

神经网络自适应的PID具有极强的现实意义,因为PID作为影响力和应用面极大的经典控制算法,对于其优化能够带来工业界、控制工程领域的极大便利,在实际的应用场景中,对于PID的使用,往往通过手动调参的方式去实验,在一些损失影响不大的系统中,往往耗费时间,在损失影响较大的系统中,往往会造成一些不可估量的成

机器学习笔记 - 什么是图注意力网络?

顾名思义,图注意力网络是图神经网络和注意力层的组合。要理解图注意力网络,我们首先需要了解什么是注意力层和图神经网络。首先,我们将看一下对图神经网络和注意力层的基本理解,然后我们将重点介绍两者的结合。让我们看一下图神经网络。图神经处理是数据科学和机器学习领域研究的热点之一,因为它们具有通过图数据进行学

特征融合的分类和方法

1、特征融合的定义特征融合方法是模式识别领域的一种重要的方法,计算机视觉领域的图像识别问题作为一种特殊的模式分类问题,仍然存在很多的挑战,特征融合方法能够综合利用多种图像特征,实现多特征的优势互补,获得更加鲁棒和准确性的识别结果。2、特征融合的分类按照融合和预测的先后顺序,分类为早融合和晚融合(Ea

深度学习中epoch、batch、batch size和iterations详解

1.epoch在训练一个模型时所用到的全部数据;备注:一般在训练时都要使用多于一个的epoch,因为在神经网络中传递完整的数据集仅仅一次是不够的,只有将完整的数据集在同样的神经网络中传递多次,才会得到比较优秀的训练效果,当然也不行,容易过拟合,所以要根据实验选择自己最合适的。epochs:epoch

【PyG】与networkx的图转换

在使用图神经网络的过程中,往往需要使用到相关的 GNN 库,而在这些 GNN 库中,一款比较高效热门的图神经网络库是 PyTorch 中的 PyG 库。PyG 提供了很多经典的图神经网络模型和图数据集,通常在使用 PyG 框架来构建和训练图模型时,需要事先选择合适的图数据结构来构造图,PyG 提供的

深度学习论文精读[6]:UNet++

UNet的编解码结构一经提出以来,大有统一深度学习图像分割之势,后续基于UNet的改进方案也经久不衰,一些研究者也在从网络结构本身来思考UNet的有效性。比如说编解码网络应该取几层,跳跃连接是否能够有更多的变化以及什么样的结构训练起来更加有效等问题。UNet本身是针对医学图像分割任务而提出来的网络结

【注意力机制集锦】Channel Attention通道注意力网络结构、源码解读系列一

本文从原文、网络结构、代码实现三个方面系统总结了SENet、SKNET、CBAM三种注意力机制

BatchNorm详解

引言:前几天被同事问到了一个问题:当batch_size=1时,Batch Normalization还有没有意义,没有说出个所以然,才意识到自己从来不好好读过BN的论文(Batch Normalization: Accelerating Deep Network Training by Reduc

模型训练时测试集上正确率大于训练集

数据集切分的时候不均匀,也就是说训练集和测试集的分布不均匀,如果模型能够正确地捕捉到数据内部的分布模式的话,就有可能造成训练集的内部方差大于验证集,会造成训练集的误差更大,这个时候就需要重新划分数据集,使其分布一样。训练集的准确率是每个batch之后产生的,而验证集的准确率一般是一个epoch后产生

神经网络与深度学习

神经网络与深度学习复习

【Unet系列】(三)Unet++网络

Unet++主要是探索encoder和decoder需要多大的问题,以此为基础,提出了融合不同尺寸Unet结构的网络。创新点就是把不同尺寸的Uent结构融入到了一个网络里。