DETR（DEtection TRansformer）要点总结
DETR翻译过来就是检测transformer，是Detection Transformers的缩写。这是一个将2017年大火的transformer结构首次引入目标检测领域的模型，是transformer模型步入目标检测领域的开山之作。利用transformer结构的自注意力机制为各个目标编码，依
注意力机制（五）：Transformer架构原理和实现、实战机器翻译
注意力机制（Attention Mechanism）是一种人工智能技术，它可以让神经网络在处理序列数据时，专注于关键信息的部分，同时忽略不重要的部分。在自然语言处理、计算机视觉、语音识别等领域，注意力机制已经得到了广泛的应用。注意力机制的主要思想是，在对序列数据进行处理时，通过给不同位置的输入信号分
Swin-transformer详解
这篇论文提出了一个新的 Vision Transformer 叫做 Swin Transformer，它可以被用来作为一个计算机视觉领域一个通用的骨干网络.但是直接把Transformer从 NLP 用到 Vision 是有一些挑战的，这个挑战主要来自于两个方面一个就是尺度上的问题。因为比如说现在有
sMLP:稀疏全mlp进行高效语言建模
论文提出了sMLP，通过设计确定性路由和部分预测来解决下游任务方面的问题。
7.卷积和Transformer结合的ViT
前面两节课我们讲了Swin Transformer的结构，以及其中的细节部分，进行了实现，其中由Swin Block 以及 Patch Merging等等，上节课讲了 SW-MSA的shift和mask，对于shift之后，其中window中需要的保留，不需要的去掉，用到了boardcasting等
Swin-Transformer 详解
用动画深入解释Swin-Transformer
TimeGPT:时间序列预测的第一个基础模型
在本文中，我们将探索TimeGPT背后的体系结构以及如何训练模型。然后，我们将其应用于预测项目中，以评估其与其他最先进的方法(如N-BEATS, N-HiTS和PatchTST)的性能。
人工智能各领域跨界能手——Transformer
导读：Transformer源自于AI自然语言处理任务；在计算机视觉领域，近年来Transformer逐渐替代CNN成为一个热门的研究方向。此外，Transformer在文本、语音、视频等多模态领域也在崭露头角。本文对Transformer从诞生到逐渐壮大为AI各领域主流模型的发展过程以及目前研究进
Huggingface Transformers Deberta-v3-base安装踩坑记录
huggingface deberta-v3-base下载踩坑记录
使用 Temporal Fusion Transformer 进行时间序列预测
Temporal Fusion Transformer(TFT)是一个基于注意力的深度神经网络，它优化了性能和可解释性，顶层架构如下图所示。TFT架构的优点如下：能够使用丰富的特征:TFT支持三种不同类型的特征:外生类别/静态变量，也称为时不变特征；具有已知输入到未来的时态数据，仅到目前已知的时态数
EfficientFormer:高效低延迟的Vision Transformers
我们都知道Transformers相对于CNN的架构效率并不高，这导致在一些边缘设备进行推理时延迟会很高，所以这次介绍的论文EfficientFormer号称在准确率不降低的同时可以达到MobileNet的推理速度。
使用QLoRA对Llama 2进行微调的详细笔记
本文是一个良好的开端，因为可以把我们在这里学到的大部分东西应用到微调任何LLM的任务中。
Swin-Transformer 实战代码与讲解（快速上手）
Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。它可以作为计算机视觉的通用backbone，并且在很多视觉底层任务中取得了Sota的水准。
Nougat：一种用于科学文档OCR的Transformer 模型
Nougat是一种VIT模型。它的目标是将这些文件转换为标记语言，以便更容易访问和机器可读。
timm使用swin-transformer
swin-transformer
【深度学习】Transformer，Self-Attention，Multi-Head Attention
必读文章：论文名：Attention Is All You Need。
使用 Transformer 和 Amazon OpenSearch Service 构建基于列的语义搜索引擎
在数据湖中，对于数据清理和注释、架构匹配、数据发现和跨多个数据来源进行分析等许多操作，查找相似的列有着重要的应用。如果不能从多个不同的来源准确查找和分析数据，就会严重拉低效率，不论是数据科学家、医学研究人员、学者，还是金融和政府分析师，所有人都会深受其害。传统解决方案涉及到使用词汇关键字搜索或正则表
【代码笔记】Transformer代码详细解读
Transformer代码详细解读
锂电池寿命预测 | Pytorch实现基于Transformer 的锂电池寿命预测（NASA数据集）
锂电池寿命预测 | Pytorch实现基于Transformer 的锂电池寿命预测（NASA数据集）
在YOLOv5中添加Swin-Transformer模块
提供了一个在YOLOv5代码中添加SwinTransformer相应模块的代码仓库，并对使用方法进行了简单介绍。
