GPT2模型详解
一 背景介绍GPT2模型是OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型，其论文原文为 language_models_are_unsupervised_multitask_learnersGPT2模型的预训练语料库为超过40G的近8000万的网页文本数据，GPT2的预训练语料
改进YOLOv5系列：9.BoTNet Transformer结构的修改
目标检测小白科研Trick改进推荐 | 包括Backbone、Neck、Head、注意力机制、IoU损失函数、NMS、Loss计算方式、自注意力机制、数据增强部分、激活函数
翻译: 详细图解Transformer多头自注意力机制 Attention Is All You Need
它们是用于计算和思考注意力的抽象概念。一旦你继续阅读下面的注意力是如何计算的，你就会知道几乎所有你需要知道的关于每个向量所扮演的角色。计算self-attention的第二步是计算一个分数。假设我们正在计算本例中第一个单词“Thinking”的自注意力。我们需要根据这个词对输入句子的每个词进行评分。
Transformer前沿——语义分割
Transformer在语义分割领域的发展
深度学习之图像分类（十八）-- Vision Transformer(ViT)网络详解
深度学习之图像分类（十八）Vision Transformer(ViT)网络详解目录深度学习之图像分类（十八）Vision Transformer(ViT)网络详解1. 前言2. ViT 模型架构2.1 Embedding 层2.2 Transformer Encoder 层2.3 MLP Head
ViT: Vision transformer的cls token作用？
一文普及ViT: Vision transformer的cls token作用？够全面
Vision Transformer模型与预训练权重简析
ViT (Vision Transformer) 是首次成功将 Transformer引入到视觉领域的尝试，开辟了视觉Transformer的先河。这里先对ViT的原理进行阐述，并对预训练文件ViT-B_16.npz的内容做一个简要介绍。
【自然语言处理】从词袋模型到Transformer家族的变迁之路
本文简要介绍了 BOW、TF-IDF、Word2Vec、Transformer、BERT、GPT、RoBERTa、 XLM、Reformer、ELECTRA、T5 等模型。
vision transformer的位置编码总结
视觉transformer位置编码
Transformer 优秀开源工作：timm 库 vision transformer 代码解读
timm库（PyTorchImageModels，简称timm）是一个巨大的PyTorch代码集合，已经被官方使用了。
Transformer结构解析
Transformer模型的结构和计算过程
长时间预测模型DLinear、NLinear模型（论文解读）
2022年8月时间序列任务SOTA模型DLinear、NLinear模型论文解读
使用Python Seaborn绘制热力图（heatmap）的时候怎么改变配色
【代码】使用Python Seaborn绘制热力图（heatmap）的时候怎么改变配色。
Chain of Thought 开山之作论文详解
现在语言模型的规模越来越大，但是即便是现在最大的语言模型，它们也往往很难在涉及到推理方面的任务取得很好的表现，也就是说，他们通常很难在数学，符号，以及常识的推理上取得尚佳的表现这篇文章主要是针对大语言模型在遇到语言推理任务时的局限性，提出了 chain of thought，也就是思维链
占有统治地位的Transformer究竟是什么
一篇文章弄懂Transformer+项目训练。
AAAI2023 | DeMT: CNN+Transformer实现多任务学习（分割/深度等）
本文结合了可变形CNN和query-based 的Transformer优点，提出了一种新的MTL模型，用于密集预测的多任务学习，基于简单有效的编码器-解码器架构（即，可变形混合器编码器和任务感知transformer解码器），称之为DeMT。
学习Transformer：自注意力与多头自注意力的原理及实现
自从Transformer[3]模型在NLP领域问世后，基于Transformer的深度学习模型性能逐渐在NLP和CV领域(Vision Transformer)取得了令人惊叹的提升。本文的主要目的是介绍经典Transformer模型和Vision Transformer的技术细节及基本原理，以方便
对Transformer中Add&Norm层的理解
首先我们还是先来回顾一下Transformer的结构：Transformer结构主要分为两大部分，一是Encoder层结构，另一个则是Decoder层结构，Encoder 的输入由 Input Embedding 和 Positional Embedding 求和输入Multi-Head-Atten
Github复现-测试基于transformer的变化检测模型BIT_CD
基于Transformer 的变化检测模型测试
Transformer与看图说话
Transformer与看图说话
