
Nougat:一种用于科学文档OCR的Transformer 模型
Nougat是一种VIT模型。它的目标是将这些文件转换为标记语言,以便更容易访问和机器可读。
timm使用swin-transformer
swin-transformer
【深度学习】Transformer,Self-Attention,Multi-Head Attention
必读文章:论文名:Attention Is All You Need。
使用 Transformer 和 Amazon OpenSearch Service 构建基于列的语义搜索引擎
在数据湖中,对于数据清理和注释、架构匹配、数据发现和跨多个数据来源进行分析等许多操作,查找相似的列有着重要的应用。如果不能从多个不同的来源准确查找和分析数据,就会严重拉低效率,不论是数据科学家、医学研究人员、学者,还是金融和政府分析师,所有人都会深受其害。传统解决方案涉及到使用词汇关键字搜索或正则表
【代码笔记】Transformer代码详细解读
Transformer代码详细解读
锂电池寿命预测 | Pytorch实现基于Transformer 的锂电池寿命预测(NASA数据集)
锂电池寿命预测 | Pytorch实现基于Transformer 的锂电池寿命预测(NASA数据集)
在YOLOv5中添加Swin-Transformer模块
提供了一个在YOLOv5代码中添加SwinTransformer相应模块的代码仓库,并对使用方法进行了简单介绍。

Meta-Transformer 多模态学习的统一框架
Meta-Transformer是一个用于多模态学习的新框架,用来处理和关联来自多种模态的信息
YOLOv5+Swin Transformer
YOLOv5+swin tansformer里遇到的报错
Vision Transformer 模型详解
关于Vision Transformer模型的详解 ,末尾附原论文下载链接以及pytorch代码。

注意力机制中的掩码详解
本文将详细介绍掩码的原理和机制。
【Transformer开山之作】Attention is all you need原文解读
Attention Is All You NeedTransformer原文解读与细节复现在Transformer出现以前,深度学习的基础主流模型可分为卷积神经网络CNN、循环神经网络RNN、图对抗神经网络GAN。而Transformer的横空出世,吸引了越来越多的研究者的关注:Transforme

WideNet:让网络更宽而不是更深
这是新加坡国立大学在2022 aaai发布的一篇论文。WideNet是一种参数有效的框架,它的方向是更宽而不是更深。通过混合专家(MoE)代替前馈网络(FFN),使模型沿宽度缩放。使用单独LN用于转换各种语义表示,而不是共享权重。

LeViT-UNet:transformer 编码器和CNN解码器的有效整合
levi - unet[2]是一种新的医学图像分割架构,它使用transformer 作为编码器,这使得它能够更有效地学习远程依赖关系。levi - unet[2]比传统的U-Nets更快,同时仍然实现了最先进的分割性能。
【人工智能与深度学习】注意力机制和Transformer
集合vectx1vectx1到vectxtvectxt通过编码器输入。使用自我注意和更多块,获得输出表示lbracevecthtextEncrbracei1tlbracevecthtextEncrbracei1t,该输出表示被馈送到解码器。在对其施加自注意力之后,进行交叉注意力。在此块中,查询

MaskFormer:将语义分割和实例分割作为同一任务进行训练
本文中将介绍Facebook AI Research在21年发布的一种超越这些限制的实例分割方法MaskFormer。

图解transformer中的自注意力机制
本文将将介绍注意力的概念从何而来,它是如何工作的以及它的简单的实现。
Transformer详解(李沐大神文字版,干货满满!)
使用图和文字记录下了李沐大神的Transformer论文逐段精度视频,方便大家后续快速复习。
学习笔记:基于Transformer的时间序列预测模型
基于Transformer的时间序列预测
[自注意力神经网络]Segment Anything(SAM)论文阅读
SAM网络学习笔记