【手撕Transformer】Transformer输入输出细节以及代码实现（pytorch）
文章目录举例讲解transformer的输入输出细节encoderpaddingPadding MaskPositional EmbeddingattentionFeedForwardadd/Normencoder输入输出decoderSequence Mask测试Transformer pyto
基于Vision Transformer的图像去雾算法研究与实现(附源码)
基于Vision Transformer的图像去雾算法研究与实现
MobileViT模型简介
自从2010年ViT(Vision Transformer)模型的横空出世，人们发现了Transformer架构在视觉领域的巨大潜力。近些年，越来越多的科研人员投入Transformer的怀抱，视觉领域的各项任务也不断被Transformer架构模型刷新。Transformer虽然强大，但在现在看来
华为2023年提出的多元时间序列预测模型（MTS-Mixers）
华为在这2023年2月9日发布了一篇的多元时间序列预测的文章，借鉴了NLP中前一阵比较热的Mixer模型，取代了Attention结构，不仅实现了效果上的提升，而且还实现了效率上的提高。
浅析Swin transformer模型(通俗易懂版)
对于最近新出的Swin Transformer的系统学习，包括模型的基本结构、参数介绍、计算过程等详细介绍，全面了解该模型，文中包含相关代码和论文下载连接。
ACmix：卷积与self-Attention的融合
ACmix是一种高效的卷积自注意力融合方法，集中了两种结构的优势，同时又能在计算开销上保持在能接受的范围。
10.7. Transformer
transformer的编码器和解码器是基于自注意力的模块叠加而成的，源（输入）序列和目标（输出）序列的嵌入（embedding）表示将加上位置编码（positional encoding），再分别输入到编码器和解码器中。值得注意的是，解码器的自注意力权重和“编码器－解码器”的注意力权重都有相同的查
MobileViT、MobileViTv2、MobileViTv3学习笔记（自用）
MobileViT、MobileViTv2、MobileViTv3学习笔记（自用）
人工智能 LLM 革命前夜：一文读懂横扫自然语言处理的 Transformer 模型
阿里ATA内部技术社区头条文章，作者麦克船长为现任阿里集团总监，近期自然语言领域的生成式AI（Gen-AI或叫AIGC）爆火，其背后的技术缘起要从几大主流LM如何一路演变到Transformer说起，本文将以初学者视角一文读懂。
AIGC、ChatGPT、GPT系列？我的认识
简要介绍AIGC，科普ChatGPT知识，介绍GPT系列的发展历程和具体模型网络结构。（我的认识，部分资料来自网络）
李沐论文精读系列二：Vision Transformer、MAE、Swin-Transformer
本文是参考李沐bilibil论文精度视频和太阳花的视频/博文后所写
【代码解读】Transformer（一）——Encoder
encoder-decoder
使用Tansformer分割三维腹部多器官--UNETR实战
不会 transformer 没关系，本教程开箱即用。Tina姐总算对transformer下手了，之前觉得难，因为刚开始学序列模型的时候就没学会。然后就一直排斥学transformer。这两周没什么事，加上MONAI有现成的教程，就打算先跑通后，再学理论。然后，顺利的跑通了代码，再学了一周理论，发
透彻分析Transformer中的位置编码（positional enconding）
Transformer中为什么要使用位置编码positional encoding
AI实战：用Transformer建立数值时间序列预测模型开源代码汇总
Transformer做数值时间序列预测
GPT2模型详解
一 背景介绍GPT2模型是OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型，其论文原文为 language_models_are_unsupervised_multitask_learnersGPT2模型的预训练语料库为超过40G的近8000万的网页文本数据，GPT2的预训练语料
改进YOLOv5系列：9.BoTNet Transformer结构的修改
目标检测小白科研Trick改进推荐 | 包括Backbone、Neck、Head、注意力机制、IoU损失函数、NMS、Loss计算方式、自注意力机制、数据增强部分、激活函数
翻译: 详细图解Transformer多头自注意力机制 Attention Is All You Need
它们是用于计算和思考注意力的抽象概念。一旦你继续阅读下面的注意力是如何计算的，你就会知道几乎所有你需要知道的关于每个向量所扮演的角色。计算self-attention的第二步是计算一个分数。假设我们正在计算本例中第一个单词“Thinking”的自注意力。我们需要根据这个词对输入句子的每个词进行评分。
Transformer前沿——语义分割
Transformer在语义分割领域的发展
深度学习之图像分类（十八）-- Vision Transformer(ViT)网络详解
深度学习之图像分类（十八）Vision Transformer(ViT)网络详解目录深度学习之图像分类（十八）Vision Transformer(ViT)网络详解1. 前言2. ViT 模型架构2.1 Embedding 层2.2 Transformer Encoder 层2.3 MLP Head
