Swin Transformer原理详解篇
CV攻城狮入门VIT(vision transformer)之旅——近年超火的Transformer你再不了解就晚了！🍁🍁🍁CV攻城狮入门VIT(vision transformer)之旅——VIT原理详解篇🍁🍁🍁CV攻城狮入门VIT(vision transformer)之旅——VIT
Video Transformer | TimeSformer 理解+ 代码实战
TimeSformer（video transformer）Is Space-Time Attention All You Need for Video Understanding?
Transformer到底为何这么牛
深度学习自出生以来就不被看好，随着计算机的发展和硬件条件的提升，这种大规模计算的深度学习才重新焕发光芒。但是我们都知道深度学习，甚至是深度强化学习的效率太慢了，人类只需要重复学习几次，甚至几十次就可以学会的东西，深度学习需要成千上万次，不得不感叹深度学习算法的学习真的太慢了。深度学习的学习效率问题是
VIT：Transformer进军CV的里程碑
Transformer[1]最初提出是针对NLP领域的，并且在NLP领域大获成功，几乎打败了RNN模型，已经成为NLP领域新一代的baseline模型。这篇论文也是受到其启发，尝试将Transformer应用到CV领域。通过这篇文章的实验，给出的最佳模型在ImageNet1K上能够达到88.55%的
【pytorch】Vision Transformer实现图像分类+可视化+训练数据保存
一、Vision Transformer介绍Transformer的核心是 “自注意力” 机制。论文地址：https://arxiv.org/pdf/2010.11929.pdf自注意力（self-attention）相比 卷积神经网络 和 循环神经网络 同时具有并行计算和最短的最大路径⻓度这两个优
transformer学习笔记：Positional Encoding（位置编码）
对于任何一门语言，单词在句子中的位置以及排列顺序是非常重要的，它们不仅是一个句子的语法结构的组成部分，更是表达语义的重要概念。
Transformer框架时间序列模型Informer内容与代码解读
Transformer框架时间序列模型Informer内容与代码解读。详细介绍概括了顶会论文AAAI‘21 Best Paper的核心内容。
chatGTP的全称Chat Generative Pre-trained Transformer
chatGPT是由OpenAI开发的一个人工智能聊天机器人程序，于2022年11月推出。该程序使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。ChatGPT目前仍以文字方式交互，而除了可以通过人类自然对话方式进行交互，还可以用于相对复杂的语言工作，包括自动文本生成、自动问答、自动摘要
基于Transformer的交通预测模型部分汇总【附源代码】
交通预测一直是一个重要的问题，它涉及到交通运输系统的可靠性和效率。随着人工智能的发展，越来越多的研究者开始使用深度学习模型来解决这个问题。其中，基于Transformer的交通预测模型在近年来备受关注，因为它们具有优秀的建模能力和较好的预测准确性。
【手撕Transformer】Transformer输入输出细节以及代码实现（pytorch）
文章目录举例讲解transformer的输入输出细节encoderpaddingPadding MaskPositional EmbeddingattentionFeedForwardadd/Normencoder输入输出decoderSequence Mask测试Transformer pyto
基于Vision Transformer的图像去雾算法研究与实现(附源码)
基于Vision Transformer的图像去雾算法研究与实现
MobileViT模型简介
自从2010年ViT(Vision Transformer)模型的横空出世，人们发现了Transformer架构在视觉领域的巨大潜力。近些年，越来越多的科研人员投入Transformer的怀抱，视觉领域的各项任务也不断被Transformer架构模型刷新。Transformer虽然强大，但在现在看来
华为2023年提出的多元时间序列预测模型（MTS-Mixers）
华为在这2023年2月9日发布了一篇的多元时间序列预测的文章，借鉴了NLP中前一阵比较热的Mixer模型，取代了Attention结构，不仅实现了效果上的提升，而且还实现了效率上的提高。
浅析Swin transformer模型(通俗易懂版)
对于最近新出的Swin Transformer的系统学习，包括模型的基本结构、参数介绍、计算过程等详细介绍，全面了解该模型，文中包含相关代码和论文下载连接。
ACmix：卷积与self-Attention的融合
ACmix是一种高效的卷积自注意力融合方法，集中了两种结构的优势，同时又能在计算开销上保持在能接受的范围。
10.7. Transformer
transformer的编码器和解码器是基于自注意力的模块叠加而成的，源（输入）序列和目标（输出）序列的嵌入（embedding）表示将加上位置编码（positional encoding），再分别输入到编码器和解码器中。值得注意的是，解码器的自注意力权重和“编码器－解码器”的注意力权重都有相同的查
MobileViT、MobileViTv2、MobileViTv3学习笔记（自用）
MobileViT、MobileViTv2、MobileViTv3学习笔记（自用）
人工智能 LLM 革命前夜：一文读懂横扫自然语言处理的 Transformer 模型
阿里ATA内部技术社区头条文章，作者麦克船长为现任阿里集团总监，近期自然语言领域的生成式AI（Gen-AI或叫AIGC）爆火，其背后的技术缘起要从几大主流LM如何一路演变到Transformer说起，本文将以初学者视角一文读懂。
AIGC、ChatGPT、GPT系列？我的认识
简要介绍AIGC，科普ChatGPT知识，介绍GPT系列的发展历程和具体模型网络结构。（我的认识，部分资料来自网络）
李沐论文精读系列二：Vision Transformer、MAE、Swin-Transformer
本文是参考李沐bilibil论文精度视频和太阳花的视频/博文后所写
