10.7. Transformer
transformer的编码器和解码器是基于自注意力的模块叠加而成的，源（输入）序列和目标（输出）序列的嵌入（embedding）表示将加上位置编码（positional encoding），再分别输入到编码器和解码器中。值得注意的是，解码器的自注意力权重和“编码器－解码器”的注意力权重都有相同的查
如何使用GPT2中文闲聊对话系统,机器人对话，自动对话!
每一次运行完一个epoch都会保存到model下面，在预测的时候直接调用model下面最后一个epoch就行,有问题可以发评论，我看见且我看得懂的话就会，哈哈哈httpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttps
【注意力机制集锦】Channel Attention通道注意力网络结构、源码解读系列一
本文从原文、网络结构、代码实现三个方面系统总结了SENet、SKNET、CBAM三种注意力机制
关于YOLOv7的分析
此篇文章是在7月初编写，可能会与现有的源码有所出入，如在月末增加了关于head部分阴性参数的融合，但总体上的出入并不会太大
VoxCeleb1 数据集下载
VoxCeleb1 是广泛使用的 说话人识别、验证 数据集。由于是从 YouTube 视频中提取，有比较丰富的噪声。（有空补介绍）如果可以使用谷歌表单和翻译软件应该就可以顺利下载，私下分发数据集有侵权风险。官网如下：VoxCelebhttps://www.robots.ox.ac.uk/~vgg/d
YOLOv5-Shufflenetv2
YOLOV5-Shufflenetv2
YOLOV5更换轻量级的backbone：mobilenetV2
如何更换YOLOV5的backbone
ST-GCN论文分析
Introduction传统的骨架建模方法通常依赖手工制作的零件或遍历规则，因此表达能力有限，难以推广。新的动态骨架模型。通过自动从数据中学习时空模式，超越了以往方法的局限性。该公式不仅有更强的表达能力，而且有更强的泛化能力。早期使用骨架进行动作识别的方法简单地利用各个时间步的关节坐标形成特征向量，
halcon脚本-深度学习【语义分割】
本文讲解使用halcon的语义分割是使用步骤，标注工具不使用halcon提供的标注工具，而是使用各个深度学习框架都使用的labelMe工具，然后使用hde脚本以及python脚本转化为标准的halcon训练及文件本文涉及数据标注、数据转化、训练、评估、预测几个模块。
Pytorch中的grid_sample算子功能解析
近期在一个模型从pytorch迁移到mindspore框架中遇到一个算子适配问题，pytorch中的grid_sample在mindspore中没有对应的算子，需要考虑自定义实现。查找pytorch官网发现grid_sample是一种特殊的采样算法。调用接口为：torch.nn.functional
深度学习之bottleneck layer
一、bottleneck layery中文名称：瓶颈层。我初次接触也就是在残差网络中。一般在较深的网络中，如resnet101中使用。一般的结构如下：其中两个1X1fliter分别用于降低和升高特征维度，主要目的是为了减少参数的数量，从而减少计算量，且在降维之后可以更加有效、直观地进行数据的训练和特
【nn.LSTM详解】
nn.LSTM详解
MSRN（多尺度超分辨率重建）
MSRN网络结构
ChatGPT底层原理及教程
GPT（Generative Pre-training Transformer，生成预训练变压器）是由OpenAI在2018年开发的一种语言模型【和Bert是类似的】，在广泛的自然语言处理任务中取得了最先进的结果。它最初由Alec Radford, Karthik Narasimhan, Tim S
Pytorch教程入门系列11----模型评估
本文介绍了常用评估模型的方法，及使用方法，帮助初学者快速上手
[ 数据集 ] MINIST 数据集介绍
[ 数据集 ] MINIST 数据集介绍MINIST``Size:`` 28×28 灰度手写数字图像；``Num:`` 训练集 60000 和 测试集 10000，一共70000张图片；``Classes:`` 0，1，2，3，4，5，6，7，8，9；具体介绍了数据集的读取与可视化操作等...
注意力机制(SE,ECA,CBAM,SKNet, scSE，Non-Local，GCNet) Pytorch代码
介绍在CNN中的常见的三种注意力机制，并且提供了Pytorch代码2023.3.2新增SKNet代码，同是修改SkNet在测试时不报错，但是在反向传播中报错的情况。2023.3.10 新增scSE注意力代码2023.3.11 新增Non-Local Net代码2023.3.13 新增GCNet代码
BatchNorm详解
引言：前几天被同事问到了一个问题：当batch_size=1时，Batch Normalization还有没有意义，没有说出个所以然，才意识到自己从来不好好读过BN的论文（Batch Normalization: Accelerating Deep Network Training by Reduc
Pytorch复习笔记--导出Onnx模型为动态输入和静态输入
当使用 Pytorch 将网络导出为 Onnx 模型格式时，可以导出为动态输入和静态输入两种方式。动态输入即模型输入数据的部分维度是动态的，可以由用户在使用模型时自主设定；静态输入即模型输入数据的维度是静态的，不能够改变，当用户使用模型时只能输入指定维度的数据进行推理。在以下代码中，定义了一个网络，
将yolov5中的PANet层改为BiFPN
本文以YOLOv5-6.1版本1.修改common.py,在common.py后加入如下代码# 结合BiFPN 设置可学习参数 学习不同分支的权重# 两个分支add操作class BiFPN_Add2(nn.Module): def __init__(self, c1, c2):
