clip预训练模型综述
CLIP是一个预训练模型，就像BERT、GPT、ViT等预训练模型一样。首先使用大量无标签数据训练这些模型，然后训练好的模型就能实现，输入一段文本（或者一张图像），输出文本（图像）的向量表示。CLIP和BERT、GPT、ViT的区别在于，CLIP是多模态的，包含图像处理以及文本处理两个方面内容，而B
使用MobileViT替换YOLOv5主干网络
相比较于其他的transformer变体，MobileViT这篇文章给出的改动技巧很简单高效，它解决的ViT中因为像素摊平操作导致的位置信息损失问题，将卷积的局部信息提取优势和自注意力机制的全局信息提取能力结合起来，并且根据论文描述具有高度轻量化+极快的推理速度，具体的大佬们自己去读读，本菜鸡好久之
注意力机制详解系列（二）：通道注意力机制
本篇主要介绍注意力机制中的通道注意力机制，对通道注意力机制方法进行详细讲解，通道注意力机制在计算机视觉中，更关注特征图中channel之间的关系，重点对SENet、ECANe进行重点讲解。
fine-tuning（微调）的理解
介绍fine-tuning的过程就是用训练好的参数（从已训练好的模型中获得）初始化自己的网络，然后用自己的数据接着训练，参数的调整方法与from scratch训练过程一样（梯度下降）。对于初始化过程，我们可以称自己的网络为目标网络，训练好的模型对应网络为源网络，要求目标网络待初始化的层要与源网络的
图像中的注意力机制详解(SEBlock | ECABlock | CBAM)
图像中的注意力机制详解注意力机制目前主要有通道注意力机制和空间注意力机制两种一、 前言我们知道，输入一张图片，神经网络会提取图像特征，每一层都有不同大小的特征图。如图1所示，展示了 VGG网络在提取图像特征时特征图的大小变化。图1 VGG网络特征结构图其中，特征图常见的矩阵形状为[C,H,W]{[C
U2-net网络详解
U2-net网络详解
学习Transformer：自注意力与多头自注意力的原理及实现
自从Transformer[3]模型在NLP领域问世后，基于Transformer的深度学习模型性能逐渐在NLP和CV领域(Vision Transformer)取得了令人惊叹的提升。本文的主要目的是介绍经典Transformer模型和Vision Transformer的技术细节及基本原理，以方便
【动手深度学习-笔记】注意力机制（四）自注意力、交叉注意力和位置编码
像这样的，查询、键和值来自同一组输入的注意力机制，被称为自注意力（self-attention）或者内部注意力（intra-attention）。总而言之，卷积神经网络和自注意力都拥有并行计算的优势，而且自注意力的最大路径长度最短。DETR中，为了保留特征的空间信息，没有将二维数据平铺为一维，而是分
DeepSpeed使用指南(简略版)
Zero Redundancy Optimizer (ZeRO)是DeepSpeed的workhorse. 用户可以提供不同的ZeRO config文件，来实现DeepSpeed的不同功能特性。来看一下官网教程对ZeRO的描述：一句话总结：，划分而不是复制。即，传统的深度学习，模型训练并行，是将模型
【CBAM 解读】混合注意力机制：Convolutional Block Attention Module
本文提出了卷积块注意模块(CBAM)，这是一种简单而有效的前馈卷积神经网络注意模块。
Repvgg详解及其实现（pytorch）
原论文中的结构图很直观的展示了repvgg到底是什么意思，对比Resnet它仍然有着类似残差的结构，就是在3*3的卷积基础上弄了一个1*1的分支和一个identity分支(在步长不等于2且输入输出通道相等的情况下)，这样除了方便推理过程的融合，似乎还有多分支的好处，因为有丰富的梯度信息(狗头保命)，
对Transformer中Add&Norm层的理解
首先我们还是先来回顾一下Transformer的结构：Transformer结构主要分为两大部分，一是Encoder层结构，另一个则是Decoder层结构，Encoder 的输入由 Input Embedding 和 Positional Embedding 求和输入Multi-Head-Atten
YOLOv5 6.0/6.1结合ASFF
YOLO小白纯干货分享！！！YOLOv5 6.0/6.1结合ASFF。本人在多个数据集上做了大量实验，针对不同的数据集效果不同，需要大家进行实验。有效果有提升的情况占大多数。最后，希望能互粉一下，做个朋友，一起学习交流。
2023年3月的10篇论文推荐
本文整理的是本月应该阅读的10篇论文，将包括多模态语言模型、扩散模型、机器翻译等主题。
图像超分辨率重建（pytorch）
本文在原论文的基础上进行了代码补充，并提供了整个流程的代码运行方法以完成图像超分辨率工作。
YOLOv5-v6.0学习笔记
YOLOv5-6.0版本的Backbone主要分为Conv模块、CSPDarkNet53和SPPF模块。YOLOv5在Conv模块中封装了三个功能：包括卷积(Conv2d)、Batch Normalization和激活函数，同时使用autopad(k, p)实现了padding的效果。其中YOLOv
pytorch 多GPU并行训练代码讲解
pytorch 多GPU并行训练介绍，参考我之前的博客:pytorch中使用多GPU并行训练。本文主要针对代码部分进行讲解。1. 首先判断有没有可用的GPU，如果没有的话，这边会报错提醒，因为我们的脚本对针对多GPU训练的场景的。2. 初始化各进程环境。
【损失函数：3】感知损失：Perceptual Loss、总变分损失（TV Loss）（附Pytorch实现）
提出感知损失的概念，用于实时超分辨任务和风格迁移任务，后来也被应用于更多的领域，在图像去雾方向也有不少工作使用到了感知损失，所以这里就细看一下感知损失具体是什么，该如何构造（说个题外话：我之前做实验，用VGG提取特征构造感知损失狂爆内存，然后直接放弃了，都怪设备太垃圾啊！！！）。
yolov5损失函数详解【附代码】
本文章将结合代码对yolov5损失函数部分进行详细说明，包含其中的样本匹配问题。如果还需要学习关于yolov5其他部分内容，可以参考我其他文章。yolov5语义分割：yolov5 trt 学习：yolov5剪枝：通过yaml修改yolov5：iou样本匹配：下面的3个feature_map是仿照v5
从0到1实现GCN——最详细的代码实现
从0到1的GCN代码实现。详细介绍了基于GCN公式的代码实现，以及更加简单高效的基于Pytorch Geometric(PyG)的GCN的代码实现。帮助小白快速入手GCN！！！
