深度学习 Transformer架构解析
2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩!而在BERT中发挥重要作用的
变形金刚——Transformer入门刨析详解
Transformer详解
Swin Transformer做backbone的YoloX目标检测
使用Swin Transformer做骨干网络进行YoloX目标检测
深度网络架构的设计技巧(三)之ConvNeXt：打破Transformer垄断的纯CNN架构
正当其时的“2020s”年代，从Transformer开始，引爆了一股“咆哮”的热潮，各种框架层出不穷，借用凯明一句话“without bells and whistles”，沉淀下来的实用性如何？本文作者长篇分析设计CNN架构的若干技巧，对照Swin Transformer的设计理念，渐进式“现代
改进YOLOv5系列：9.BoTNet Transformer结构的修改
目标检测小白科研Trick改进推荐 | 包括Backbone、Neck、Head、注意力机制、IoU损失函数、NMS、Loss计算方式、自注意力机制、数据增强部分、激活函数
图像恢复 SWinIR : 彻底理解论文和源代码 (注释详尽）
文章目录SwinIR 论文SWinIR 网络结构整体框架浅层特征提取深层特征提取图像重建模块主要代码理解SwinIRMLPPatch EmbeddingWindow Attention残差 Swin Transformer 块 (RSTB)HQ Image Reconstruction一个测试实例参
学习Transformer：自注意力与多头自注意力的原理及实现
自从Transformer[3]模型在NLP领域问世后，基于Transformer的深度学习模型性能逐渐在NLP和CV领域(Vision Transformer)取得了令人惊叹的提升。本文的主要目的是介绍经典Transformer模型和Vision Transformer的技术细节及基本原理，以方便
Transformer框架时间序列模型Informer内容与代码解读
Transformer框架时间序列模型Informer内容与代码解读。详细介绍概括了顶会论文AAAI‘21 Best Paper的核心内容。
翻译: 详细图解Transformer多头自注意力机制 Attention Is All You Need
它们是用于计算和思考注意力的抽象概念。一旦你继续阅读下面的注意力是如何计算的，你就会知道几乎所有你需要知道的关于每个向量所扮演的角色。计算self-attention的第二步是计算一个分数。假设我们正在计算本例中第一个单词“Thinking”的自注意力。我们需要根据这个词对输入句子的每个词进行评分。
Transformer模型入门详解及代码实现
本文对Transformer模型的基本原理做了入门级的介绍，意在为读者描述整体思路，而并非拘泥于细微处的原理剖析，并附上了基于PYTORCH实现的Transformer模型代码及详细讲解。
如何用DETR（detection transformer）训练自己的数据集
DETR(detection transformer)简介DETR是Facebook AI的研究者提出的Transformer的视觉版本，是CNN和transformer的融合，实现了端到端的预测，主要用于目标检测和全景分割。DETR的Github地址：link
AI实战：用Transformer建立数值时间序列预测模型开源代码汇总
Transformer做数值时间序列预测
【pytorch】Vision Transformer实现图像分类+可视化+训练数据保存
一、Vision Transformer介绍Transformer的核心是 “自注意力” 机制。论文地址：https://arxiv.org/pdf/2010.11929.pdf自注意力（self-attention）相比 卷积神经网络 和 循环神经网络 同时具有并行计算和最短的最大路径⻓度这两个优
DETR源码笔记（一）
源码获取：https://gitee.com/fgy120/DETR首先对DETR做个简单介绍上图即为DETR的流程pipeline，相比以前的RCNN系列、YOLO系列等，最特别的在于加入了Transformer。直接看源码，从train.py的main函数开始。if __name__ == '_
Transformer前沿——语义分割
Transformer在语义分割领域的发展
改进YOLOv5系列：增加Swin-Transformer小目标检测头
增加一个SwinTransformer检测头结构
文本生成图像工作简述--概念介绍和技术梳理
文本到图像的 AI 模型仅根据简单的文字输入就可以生成图像。用户可以输入他们喜欢的任何文字提示——比如，“一只可爱的柯基犬住在一个用寿司做的房子里”——然后，人工智能就像施了魔法一样，会产生相应的图像。
YOLOv5、YOLOv7改进之二十九：引入Swin Transformer v2.0版本
将Swin transformer 2.0版本模块融入YOLO系列算法中，提高模型的全局信息获取能力。
拿下Transformer
对于每一个x向量，网络又可以通过乘WQ，WK，WV衍生出三个向量Q1，K1，V1向量。对于所有的Xi来说，其乘的WQ，WK，WV都是一模一样的(即权重是共享的)。Self attention所作的内容，总结一下就是一个包含三个参数矩阵WQ，WK，WV的模块，输出为m个Context vector，并
MobileViT模型简介
自从2010年ViT(Vision Transformer)模型的横空出世，人们发现了Transformer架构在视觉领域的巨大潜力。近些年，越来越多的科研人员投入Transformer的怀抱，视觉领域的各项任务也不断被Transformer架构模型刷新。Transformer虽然强大，但在现在看来
