Transformer——逐步详解架构和完整代码搭建
Transformer是一个经典的编码解码结构，编码器decoder负责编码，解码器encoder负责解码。Transformer是基于seq2seq的架构，提出时被用在机器翻译任务上，后面变种Swin Transformer和Vision Transformer让其在CV领域也大放异彩。
Transformer模型
Transformer模型是一种在自然语言处理（NLP）及其他序列到序列（Seq2Seq）任务中广泛使用的深度学习模型框架。其基本原理和核心组件，尤其是自注意力机制（Self-Attention Mechanism），对于理解该模型的工作方式至关重要。以下是对Transformer模型基本原理和自注
NLP之transformer：transformer-explainer的简介、安装和使用方法、案例应用之详细攻略
NLP之transformer：transformer-explainer的简介、安装和使用方法、案例应用之详细攻略目录相关论文transformer-explainer的简介transformer-explainer的安装和使用方法transformer-explainer的案例应用相关论文《T
基于Transformer实现中英翻译任务的微调
本文旨在说明如何通过Transfoemers库和pytorch来微调一个中英翻译模型。这里选择开源的opus-mt-zh-en模型来实现微调，提升该模型在特定语料上的性能。入门小白，如果有误还请指导。
调用百度的大模型API接口实现AI对话！手把手教程！
本文介绍如何使用百度的大模型API接口实现一个AI对话项目。
【AI大模型】解锁AI智能：从注意力机制到Transformer，再到BERT与GPT的较量
在AI技术的迅猛发展中，注意力机制成为了关键驱动力，赋予机器高效处理复杂信息的能力。本文深入探索注意力机制及其核心应用——Transformer架构，解析其如何通过自注意力机制革新自然语言处理。同时，对比分析GPT与BERT两大热门模型，揭示它们在策略上的差异与共识，探讨其在未来智能技术中的潜力。此
论文阅读-Transformer Layers as Painters
尽管大语言模型现在已经被广泛的应用于各种任务，但是目前对其并没有一个很好的认知。为了弄清楚删除和重组预训练模型不同层的影响，本文设计了一系列的实验。通过实验表明，预训练语言模型中的lower和final layers与中间层分布不一致，并且中间层有着惊人的一致性。
书生·浦语2.5开源，推理能力再创新标杆
2024 年 7 月 3 日，上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式发布新一代大语言模型书⽣·浦语2.5（InternLM2.5）。相比上一代模型，InternLM2.5 有三项突出亮点：推理能力大幅提升，在部分维度上甚至超越十倍量级的 Llama3-70B；支持 1M toke
如何让大模型的输出长度可控？Meta AI开源新方法
文章通过提出LIFT方法，目标是减少模型评估中的“长度偏差”，提高模型遵循用户指令的生成长度约束的能力，使得大模型在实际应用中提供更多的可控性。PS：给公众号添加【星标⭐️】不迷路！您的。
大模型增量预训练新技巧-解决灾难性遗忘
该方法主要通过增加恒定块扩展模型层数，使模型在增量训练过程中仅训练新增层、冻结原始层，保持模型原有能力，防止模型出现灾难性遗忘现象。但有两点存疑：目前来说mistral要好于llama，为啥不用mistral进行实验不用恒定块，性能会差多少。
Transformer--编码器和解码器（包含掩码张量，注意力机制，多头注意力机制）
编码器部分: 由N个编码器层堆叠而成，每个编码器层由两个子层连接结构组成，第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接，第二个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接💡在讲述编码器的结构之前，我们先引入三个概念--掩码张量，注意力机制，多头注意力机制。
医学图像分割的基准：TransUnet（用于医学图像分割的Transformer编码器）器官分割
TransUnet是一种用于医学图像分割的深度学习模型。它是基于Transformer模型的图像分割方法，由AI研究公司Hugging Face在2021年提出。医学图像分割是一项重要的任务，旨在将医学图像中的不同结构和区域分离出来，以便医生可以更好地诊断和治疗疾病。传统的医学图像分割方法通常使用基
Langchain--如何使用大模型 2.0
我们除了可以使用Langchain进行模型对话、提示词创作、嵌入模型，还可以使用其他的组件对大模型封装使用，打造我们自己的大模型。
使用BatchNorm替代LayerNorm可以减少Vision Transformer训练时间和推理时间
让我们简要回顾一下深度神经网络中BatchNorm的基本概念。这个想法最初是由Ioffe和Szegedy在一篇论文中引入的,作为加速卷积神经网络训练的一种方法。假设zᵃᵢ表示深度神经网络给定层的输入,其中a是从a=1,…,Nₛ运行的批次索引,i是从i=1,…,C运行的特征索引。这里Nₛ是一个批次中的
Llama3.1技术报告简要解读--附PDF
Llama3.1的简要解读。总结几点，大而好：405B参数直接对标GPT4 (Scaling law)中杯(8B)和大杯(70B)的上下文直接干到128K了，超过目前同类参数模型一个等级。15T的Token，强调数据的重要性！！！包括数据准备、数据处理、数据清洗、数据构造，数据配比等等，数据是基石，
深度学习的前沿主题：GANs、自监督学习和Transformer模型
深度学习的前沿技术包括生成对抗网络（GANs）、自监督学习和Transformer模型。GANs通过生成器和判别器的对抗训练生成高质量数据，自监督学习利用数据的内在结构在无标签数据上学习有效特征，Transformer模型则通过自注意力机制在自然语言处理和计算机视觉任务中表现出色。这些技术在图像生成
Gemma2——Google 新开源大型语言模型完整应用指南
以前代产品为基础，提供增强的性能和效率，以及一系列创新功能，使其在研究和实际应用中都具有特别的吸引力。Gemma 2 的与众不同之处在于，它能够提供与更大的专有模型相当的性能，但其软件包专为更广泛的可访问性和在更适中的硬件设置上使用而设计。随着深入研究 Gemma 2 的技术规格和架构，越来越被其设
过去式就能越狱大模型？一文了解大模型安全攻防战！
男人不坏，女人不爱。这句话在谈恋爱领域不知道是不是真的，在人工智能领域倒是先应验了。「人工智能不坏，人类不爱。」
WiseFlow：开源AI信息挖掘工具，传统的爬虫可以下线了
是一款快速准确的信息挖掘工具。我们在使用时提前设定好自己的。
【模型架构】学习最火热的Mamba、Vision Mamba、MambaOut模型
状态空间模型（State Space Model, SSM）是一种用于描述动态系统的数学模型，特别适用于时间序列分析和控制系统设计。它将系统的状态表示为一个状态向量，并通过状态方程和观测方程描述系统的动态行为和观测过程。因此，SSM是可以用于描述这些状态表示并根据某些输入预测其下一个状态可能是什么的
