爆火的Transformer，到底火在哪？
与传统的 Soft Attention相比， Self-Attention 可有效缩短远距离依赖特征之间的距离，更容易捕获时间序列数据中相互依赖的特征，在大多数实际问题中，Self-Attention 更被研究者们所青睐，并具有更加优异的实际表现。完全不依赖于RNN结构仅利用Attention机制的
【深度学习】(2) Transformer 网络解析，代码复现，附Pytorch完整代码
今天和各位分享一下如何使用 Pytorch 构建 Transformer 模型。本文的重点在代码复现，部分知识点介绍的不多，我会在之后的四篇博文中详细介绍 Encoder，Decoder，(Mask)MutiHeadAttention，以及实战案例。之前我也介绍过 Vision Tranformer
位置编码（PE）是如何在Transformers中发挥作用的
Transformers不像LSTM具有处理序列排序的内置机制，它将序列中的每个单词视为彼此独立。所以使用位置编码来保留有关句子中单词顺序的信息。
使用动图深入解释微软的Swin Transformer
本文旨在使用插图和动画为Swin Transformers提供全面的指南，以帮助您更好地理解这些概念。
【论文阅读】Attention is all you need（Transformer）
文章目录前言1.Abstract2.Introduction3.Background4.Model Architecture4.1. Encoder and Decoder Stacks4.2. Attention4.2.1. Scaled Dot-Product Attention4.2.2.Mu
全网首发，Swin Transformer+FaceNet实现人脸识别
一、 简介与其他的深度学习方法在人脸上的应用不同，FaceNet并没有用传统的softmax的方式去进行分类学习，然后抽取其中某一层作为特征，而是直接进行端对端学习一个从图像到欧式空间的编码方法，然后基于这个编码再做人脸识别、人脸验证和人脸聚类等。FaceNet主要有两个重点：Backbone和Tr
用于Transformer的6种注意力的数学原理和代码实现
Transformer 的出色表现让注意力机制出现在深度学习的各处。本文整理了深度学习中最常用的6种注意力机制的数学原理和代码实现。
图像恢复 Restormer: 彻底理解论文和源代码 (注释详尽)
图像恢复 Restormer：在图像去雨、图像去模糊和图像去噪等任务上表现 SOTA。
轻量级Visual Transformer模型——LeViT(ICCV2021)
LeViT是FAIR团队发表在ICCV2021上的成果，是轻量级ViT模型中的标杆，文章对ViT中多个部件进行的改进，如加速策略等，对很多工程化铺设ViT系列模型都是很有借鉴意义的。按说，近期出现的优质模型非常多，各种冲击SOTA的，详情可戳我整理的小综述《盘点2021-2022年出现的CV神经网络
NLP：Transformer的简介(优缺点)、架构详解之详细攻略
NLP：Transformer的简介(优缺点)、架构详解之详细攻略目录Transformer的简介(优缺点)、架构详解之详细攻略1、Transformer的简介(1)、Transforme的四4个优点和2个缺点2、Transformer 结构—纯用attention搭建的模型→计算速度更快Trans
Swin Transformer代码阅读注释
Swin Transformer代码阅读注释
论文阅读笔记：Swin Transformer
论文阅读笔记：Swin Transformer
Vision Transformer（Pytorch版）代码阅读注释
Vision Transformer Pytorch版代码阅读注释
论文阅读笔记：Vision Transformer
论文阅读笔记：Vision Transformer
ConvNeXt：超越 Transformer？总结涨点技巧与理解代码(附注释)
CNN or Transformer？研究证明通过对 CNN 一步步改进也可以达到超越 Transformer 的表现。
Vision Transformer详解（附代码）
受NLP\mathrm{NLP}NLP中Transformer\mathrm{Transformer}Transformer扩展成功的启发，Vision Transformer\mathrm{Vision\text{ }Transformer}Vision Transforme
神经网络学习小记录66——Vision Transformer（VIT）模型的复现详解
神经网络学习小记录66——Vision Transformer（VIT）模型的复现详解学习前言什么是Vision Transformer（VIT）代码下载Vision Transforme的实现思路一、整体结构解析二、网络结构解析1、特征提取部分介绍a、Patch+Position Embeddin
