Transformer中的注意力机制及代码
transformer注意力机制实现过程整理。
简化版Transformer ：Simplifying Transformer Block论文详解
在这篇文章中我将深入探讨来自苏黎世联邦理工学院计算机科学系的Bobby He和Thomas Hofmann在他们的论文“Simplifying Transformer Blocks”中介绍的Transformer技术的进化步骤。这是自Transformer 开始以来，我看到的最好的改进。
DETR（DEtection TRansformer）要点总结
DETR翻译过来就是检测transformer，是Detection Transformers的缩写。这是一个将2017年大火的transformer结构首次引入目标检测领域的模型，是transformer模型步入目标检测领域的开山之作。利用transformer结构的自注意力机制为各个目标编码，依
注意力机制（五）：Transformer架构原理和实现、实战机器翻译
注意力机制（Attention Mechanism）是一种人工智能技术，它可以让神经网络在处理序列数据时，专注于关键信息的部分，同时忽略不重要的部分。在自然语言处理、计算机视觉、语音识别等领域，注意力机制已经得到了广泛的应用。注意力机制的主要思想是，在对序列数据进行处理时，通过给不同位置的输入信号分
Swin-transformer详解
这篇论文提出了一个新的 Vision Transformer 叫做 Swin Transformer，它可以被用来作为一个计算机视觉领域一个通用的骨干网络.但是直接把Transformer从 NLP 用到 Vision 是有一些挑战的，这个挑战主要来自于两个方面一个就是尺度上的问题。因为比如说现在有
sMLP:稀疏全mlp进行高效语言建模
论文提出了sMLP，通过设计确定性路由和部分预测来解决下游任务方面的问题。
7.卷积和Transformer结合的ViT
前面两节课我们讲了Swin Transformer的结构，以及其中的细节部分，进行了实现，其中由Swin Block 以及 Patch Merging等等，上节课讲了 SW-MSA的shift和mask，对于shift之后，其中window中需要的保留，不需要的去掉，用到了boardcasting等
Swin-Transformer 详解
用动画深入解释Swin-Transformer
TimeGPT:时间序列预测的第一个基础模型
在本文中，我们将探索TimeGPT背后的体系结构以及如何训练模型。然后，我们将其应用于预测项目中，以评估其与其他最先进的方法(如N-BEATS, N-HiTS和PatchTST)的性能。
人工智能各领域跨界能手——Transformer
导读：Transformer源自于AI自然语言处理任务；在计算机视觉领域，近年来Transformer逐渐替代CNN成为一个热门的研究方向。此外，Transformer在文本、语音、视频等多模态领域也在崭露头角。本文对Transformer从诞生到逐渐壮大为AI各领域主流模型的发展过程以及目前研究进
Huggingface Transformers Deberta-v3-base安装踩坑记录
huggingface deberta-v3-base下载踩坑记录
使用 Temporal Fusion Transformer 进行时间序列预测
Temporal Fusion Transformer(TFT)是一个基于注意力的深度神经网络，它优化了性能和可解释性，顶层架构如下图所示。TFT架构的优点如下：能够使用丰富的特征:TFT支持三种不同类型的特征:外生类别/静态变量，也称为时不变特征；具有已知输入到未来的时态数据，仅到目前已知的时态数
EfficientFormer:高效低延迟的Vision Transformers
我们都知道Transformers相对于CNN的架构效率并不高，这导致在一些边缘设备进行推理时延迟会很高，所以这次介绍的论文EfficientFormer号称在准确率不降低的同时可以达到MobileNet的推理速度。
使用QLoRA对Llama 2进行微调的详细笔记
本文是一个良好的开端，因为可以把我们在这里学到的大部分东西应用到微调任何LLM的任务中。
Swin-Transformer 实战代码与讲解（快速上手）
Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。它可以作为计算机视觉的通用backbone，并且在很多视觉底层任务中取得了Sota的水准。
Nougat：一种用于科学文档OCR的Transformer 模型
Nougat是一种VIT模型。它的目标是将这些文件转换为标记语言，以便更容易访问和机器可读。
timm使用swin-transformer
swin-transformer
【深度学习】Transformer，Self-Attention，Multi-Head Attention
必读文章：论文名：Attention Is All You Need。
使用 Transformer 和 Amazon OpenSearch Service 构建基于列的语义搜索引擎
在数据湖中，对于数据清理和注释、架构匹配、数据发现和跨多个数据来源进行分析等许多操作，查找相似的列有着重要的应用。如果不能从多个不同的来源准确查找和分析数据，就会严重拉低效率，不论是数据科学家、医学研究人员、学者，还是金融和政府分析师，所有人都会深受其害。传统解决方案涉及到使用词汇关键字搜索或正则表
【代码笔记】Transformer代码详细解读
Transformer代码详细解读
