【人工智能学习】第十四课：理解自注意力机制和Transformer模型
自注意力机制（Self-Attention）是一种允许输入序列中的每个位置都与其他所有位置交互以计算表示的机制。它是Transformer架构的核心，被广泛应用于自然语言处理（NLP）和计算机视觉（CV）等领域。自注意力机制和Transformer架构为处理复杂的序列数据问题开辟了新的可能性。通过深
ChatGPT预训练的奥秘：大规模数据、Transformer架构与自回归学习【文末送书-31】
ChatGPT预训练的奥秘：大规模数据、Transformer架构与自回归学习【文末送书-31】近年来，人工智能领域取得了巨大的进展，其中自然语言处理（NLP）是备受瞩目的一部分。ChatGPT，作为GPT-3.5架构的代表之一，突显了大模型在处理自然语言任务方面的卓越能力。本文将深入探讨ChatG
LLM 加速技巧：Muti Query Attention
MQA 是 19 年提出的一种新的 Attention 机制，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。在大语言模型时代被广泛使用，很多LLM都采用了MQA，如Falcon、PaLM、StarCoder等。
RNN又行了！DeepMind新发布的Griffin可以与同级别的LLM性能相当
Hawk和Griffin是DeepMind推出的新型循环神经网络（RNNs），2月刚刚发布在arxiv上。
一文回顾生成式AI的发展：GANs、GPT、自编码器、扩散模型和Transformer系列
回顾生成式AI的发展：GANs、GPT、自编码器、扩散模型和Transformer系列，涵盖了从文本生成和音乐创作，图像创建，视频制作，代码生成，甚至科学工作等各种任务。
【计算机视觉】Vision Transformer （ViT）详细解析
【计算机视觉】Vision Transformer （ViT）详细解析
Mamba详细介绍和RNN、Transformer的架构可视化对比
看完这篇文章，我希望你能对Mamba 和状态空间模型有一定的了解，最后我们以作者的发现为结尾：作者发现模型与相同尺寸的Transformer模型的性能相当，有时甚至超过了它们!作者：Maarten Grootendorst。
Mamba详细介绍和RNN、Transformer的架构可视化对比
在本篇文章中，通过将绘制RNN，transformer，和Mamba的架构图，并进行详细的对比，这样我们可以更详细的了解它们之间的区别。
（2022|CVPR，非自回归，掩蔽图像生成，迭代译码）MaskGIT：掩蔽生成式图像 Transformer
本文提出 MaskGIT，使用双向 Transformer 解码器进行图像生成。在训练期间，MaskGIT 通过关注所有方向上的标记来学习预测随机掩蔽的标记。在推理时，模型首先同时生成图像的所有标记，然后在先前生成的基础上迭代地细化图像。
【Transformer系列（3）】 《Attention Is All You Need》论文超详细解读（翻译＋精读）
transformer开山之作《Attention Is All You Need》论文超详细解读（翻译＋精读）
Transformer技术深度剖析：AI语言处理的新纪元
Transformer技术深度剖析：AI语言处理的新纪元
使用LORA微调RoBERTa
LORA可以大大减少了可训练参数的数量，节省了训练时间、存储和计算成本，并且可以与其他模型自适应技术(如前缀调优)一起使用，以进一步增强模型。
深度学习网络模型————Swin-Transformer详细讲解与代码实现
经典网络模型系列——Swin-Transformer详细讲解与代码实现
极智AI | 解读Mamba对LLM基础架构的冲击 作者一定是科密吧
大家好，我是极智视界，本文分享一下 解读Mamba对LLM基础架构的冲击 作者一定是科密吧。希望我的分享能对你的学习有一点帮助。
transformer概述和swin-transformer详解
transformer和swin-transformer
Swin Transformer详解
Vit出现后虽然让大家看到了Transformer在视觉领域的潜力，但并不确定Transformer可以做掉所有视觉任务。Swin Transformer可以作为一个通用的骨干网络。面对的挑战：1、多尺度。2、高像素。移动窗口提高效率，并通过Shifted操作变相达到全局建模能力。层次结构：灵活，可
Transformer模型详解
transformer结构是google在2017年的Attention Is All You Need论文中提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。 由于
在Colab上测试Mamba
本文整理了一个能够在Colab上完整运行Mamba代码，代码中还使用了Mamba官方的3B模型来进行实际运行测试。
基于GPT-3、ChatGPT、GPT-4等Transformer架构的自然语言处理
【好书分享 • 第一期】——基于GPT-3、ChatGPT、GPT-4等Transformer架构的自然语言处理
挑战Transformer的新架构Mamba解析以及Pytorch复现
今天我们来详细研究这篇论文“Mamba:具有选择性状态空间的线性时间序列建模”
