【手撕Transformer】Transformer输入输出细节以及代码实现（pytorch）
文章目录举例讲解transformer的输入输出细节encoderpaddingPadding MaskPositional EmbeddingattentionFeedForwardadd/Normencoder输入输出decoderSequence Mask测试Transformer pyto
基于Pytorch的可视化工具
通过文本输出myConvNet网络的网络结构得到上面的输出结果，但这并不容易让读者理解在网络中层与层之间的连接方式，所以需要将PyTorch搭建的深度学习网络进行可视化，通过图像来帮助读者理解网络层与层之间的连接方式。而网络训练过程的可视化，通常用于监督网络的训练过程或呈现网络的训练效果。当使用Py
pytorch:常见的pytorch参数初始化方法总结
使输入的张量服从（a,b）的均匀分布并返回。从给定的均值和标准差的正态分布N(mean,std)中生成值，初始化张量。以一确定数值初始化张量。从均匀分布U(−a, a)中采样，初始化输入张量，其中a的值由如下公式确定,公式中的gain值根据不同的激活函数确定[1]https://www.cxyzjd
基于BiLSTM-Attention实现天气变量预测风速
风速预报是预警灾害性天气的一项重要任务，本项目使用循环神经网络BiLSTM-Attention训练一个网络模型，来预测在给定指定日期的天气变量来预测对应的风速情况。
Pytorch加载模型只导入部分层权重，即跳过指定网络层的方法
需求Pytorch加载模型时，只导入部分层权重，跳过部分指定网络层。（权重文件存储为dict形式）本文参考总结他人的做法，主要是load时加if判断哪些网络层不需要，或者直接strict=False，跳过没有的网络层。还有对载入的参数更新有具体要求的方法，固定参数、或者不同参数有不同的更新速度。同时
【论文笔记】CycleGAN（基于PyTorch框架）
CycleGAN（基于PyTorch框架）
pytorch离线安装
pytorch离线安装
pytorch 自编码器实现图像的降噪
pytorch 自编码器实现图像的降噪
PyTorch中计算KL散度详解
首先简单介绍一下KL散度（具体的可以在各种技术博客看到讲解，我这里不做重点讨论）。从名称可以看出来，它并不是严格意义上的距离（所以才叫做散度~），原因是它并不满足距离的对称性，为了弥补这种缺陷，出现了JS散度（这就是另一个故事了…）DKL(P∣∣Q)=∑i=1Npilogpiqi=∑i=1Npi∗
densenet的网络结构和实现代码总结(torch)
densenet网络是CVPR 2017 (Best Paper Award)，这篇论文是在Stochastic Depth的启发下提出的。densenet和Stochastic Depth都是清华的黄高博士提出的。DenseNet（密集卷积网络）的核心思想是密集连接，即某层的输入除了包含前一层的
嵌入式学深度学习：1、Pytorch框架搭建
深度学习是机器学习的一种，目前深度学习应用场景较多.在嵌入式领域也经常会用到普通传感器无法检测、而用机器视觉能很方便完成的任务，比如流水线检测、无接触姿态检测等。而传统的计算机视觉要求使用者掌握图像处理的基本知识，较为复杂，而采用深度学习的图像处理则要求较低。因此，嵌入式工程师如果能掌握深度学习的应
【mmdetection】mmdetection安装详细步骤
【mmdetection】mmdetection安装详细步骤
4、nerf（pytorch）
nerf-pytorch
基于PyTorch+LSTM的交通客流预测（时间序列分析）
将深度学习与交通客流时间分布特征相结合，能够有效地揭示轨道交通客流量的变化趋势。本文将使用LSTM进行较为客观的客流量预测数据统计，并通过深度学习将预测结果应用于实践之中对轨道交通发车频次进行合理优化。
Pytorch中的grid_sample算子功能解析
近期在一个模型从pytorch迁移到mindspore框架中遇到一个算子适配问题，pytorch中的grid_sample在mindspore中没有对应的算子，需要考虑自定义实现。查找pytorch官网发现grid_sample是一种特殊的采样算法。调用接口为：torch.nn.functional
Pytorch教程入门系列11----模型评估
本文介绍了常用评估模型的方法，及使用方法，帮助初学者快速上手
注意力机制(SE,ECA,CBAM,SKNet, scSE，Non-Local，GCNet) Pytorch代码
介绍在CNN中的常见的三种注意力机制，并且提供了Pytorch代码2023.3.2新增SKNet代码，同是修改SkNet在测试时不报错，但是在反向传播中报错的情况。2023.3.10 新增scSE注意力代码2023.3.11 新增Non-Local Net代码2023.3.13 新增GCNet代码
Pytorch复习笔记--导出Onnx模型为动态输入和静态输入
当使用 Pytorch 将网络导出为 Onnx 模型格式时，可以导出为动态输入和静态输入两种方式。动态输入即模型输入数据的部分维度是动态的，可以由用户在使用模型时自主设定；静态输入即模型输入数据的维度是静态的，不能够改变，当用户使用模型时只能输入指定维度的数据进行推理。在以下代码中，定义了一个网络，
【Pytorch】torch. matmul()
Hello！ଘ(੭ˊᵕˋ)੭昵称：海轰标签：程序猿｜C++选手｜学生简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！唯有努力💪本文仅记录自己感兴趣的内容文章仅作为个人学习笔
图注意网络GAT理解及Pytorch代码实现【PyGAT代码详细注释】
对GAT的Pytorch版本PyGAT进行注释，包括Cora数据集的处理和使用！
