如何让大模型的输出长度可控？Meta AI开源新方法
文章通过提出LIFT方法，目标是减少模型评估中的“长度偏差”，提高模型遵循用户指令的生成长度约束的能力，使得大模型在实际应用中提供更多的可控性。PS：给公众号添加【星标⭐️】不迷路！您的。
大模型增量预训练新技巧-解决灾难性遗忘
该方法主要通过增加恒定块扩展模型层数，使模型在增量训练过程中仅训练新增层、冻结原始层，保持模型原有能力，防止模型出现灾难性遗忘现象。但有两点存疑：目前来说mistral要好于llama，为啥不用mistral进行实验不用恒定块，性能会差多少。
Transformer--编码器和解码器（包含掩码张量，注意力机制，多头注意力机制）
编码器部分: 由N个编码器层堆叠而成，每个编码器层由两个子层连接结构组成，第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接，第二个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接💡在讲述编码器的结构之前，我们先引入三个概念--掩码张量，注意力机制，多头注意力机制。
医学图像分割的基准：TransUnet（用于医学图像分割的Transformer编码器）器官分割
TransUnet是一种用于医学图像分割的深度学习模型。它是基于Transformer模型的图像分割方法，由AI研究公司Hugging Face在2021年提出。医学图像分割是一项重要的任务，旨在将医学图像中的不同结构和区域分离出来，以便医生可以更好地诊断和治疗疾病。传统的医学图像分割方法通常使用基
Langchain--如何使用大模型 2.0
我们除了可以使用Langchain进行模型对话、提示词创作、嵌入模型，还可以使用其他的组件对大模型封装使用，打造我们自己的大模型。
使用BatchNorm替代LayerNorm可以减少Vision Transformer训练时间和推理时间
让我们简要回顾一下深度神经网络中BatchNorm的基本概念。这个想法最初是由Ioffe和Szegedy在一篇论文中引入的,作为加速卷积神经网络训练的一种方法。假设zᵃᵢ表示深度神经网络给定层的输入,其中a是从a=1,…,Nₛ运行的批次索引,i是从i=1,…,C运行的特征索引。这里Nₛ是一个批次中的
Llama3.1技术报告简要解读--附PDF
Llama3.1的简要解读。总结几点，大而好：405B参数直接对标GPT4 (Scaling law)中杯(8B)和大杯(70B)的上下文直接干到128K了，超过目前同类参数模型一个等级。15T的Token，强调数据的重要性！！！包括数据准备、数据处理、数据清洗、数据构造，数据配比等等，数据是基石，
深度学习的前沿主题：GANs、自监督学习和Transformer模型
深度学习的前沿技术包括生成对抗网络（GANs）、自监督学习和Transformer模型。GANs通过生成器和判别器的对抗训练生成高质量数据，自监督学习利用数据的内在结构在无标签数据上学习有效特征，Transformer模型则通过自注意力机制在自然语言处理和计算机视觉任务中表现出色。这些技术在图像生成
Gemma2——Google 新开源大型语言模型完整应用指南
以前代产品为基础，提供增强的性能和效率，以及一系列创新功能，使其在研究和实际应用中都具有特别的吸引力。Gemma 2 的与众不同之处在于，它能够提供与更大的专有模型相当的性能，但其软件包专为更广泛的可访问性和在更适中的硬件设置上使用而设计。随着深入研究 Gemma 2 的技术规格和架构，越来越被其设
过去式就能越狱大模型？一文了解大模型安全攻防战！
男人不坏，女人不爱。这句话在谈恋爱领域不知道是不是真的，在人工智能领域倒是先应验了。「人工智能不坏，人类不爱。」
WiseFlow：开源AI信息挖掘工具，传统的爬虫可以下线了
是一款快速准确的信息挖掘工具。我们在使用时提前设定好自己的。
【模型架构】学习最火热的Mamba、Vision Mamba、MambaOut模型
状态空间模型（State Space Model, SSM）是一种用于描述动态系统的数学模型，特别适用于时间序列分析和控制系统设计。它将系统的状态表示为一个状态向量，并通过状态方程和观测方程描述系统的动态行为和观测过程。因此，SSM是可以用于描述这些状态表示并根据某些输入预测其下一个状态可能是什么的
使用BatchNorm替代LayerNorm可以减少Vision Transformer训练时间和推理时间
本文我们将详细探讨ViT的一种修改,这将涉及用批量归一化(BatchNorm)替换层归一化(LayerNorm) - transformer的默认归一化技术。
基于人工智能的口试模拟、LLM将彻底改变 STEM 教育
本文开发了一个基于大规模语言模型的原型，模拟了高等教育中的口试，探索了大规模语言模型在教育环境中的潜力，展示了将人工智能引入教育的广泛可能性。尽管作为一项研究还处于早期阶段，但它为大规模语言模型在这一新应用领域的能力和局限性提供了重要见解，而最新版本的 OpenAI API 及其助手在为不同学生定制
基于Transformer解决机器翻译任务学习笔记记录#AI夏令营 #Datawhale #夏令营
基于循环或卷积神经网络的序列到序列建模方法是现存机器翻译任务中的经典方法。然而，它们在建模文本长程依赖方面都存在一定的局限性。对于卷积神经网络来说，受限的上下文窗口在建模长文本方面天然地存在不足。如果要对长距离依赖进行描述，需要多层卷积操作，而且不同层之间信息传递也可能有损失，这些都限制了模型的能力
Transformer预测模型及其Python和MATLAB实现
通过将输入的查询、键和值线性变换为多个不同的头部，然后并行计算每个头的注意力，最后将所有头的结果拼接后经过线性变换。- **查询（Query）、键（Key）和值（Value）**：对输入的词嵌入进行线性变换，得到查询、键和值。- **解码器**：解码器结构类似于编码器，但在每个层中加入了对先前生成的
探索LLaMA模型：架构创新与Transformer模型的进化之路
LLaMA模型代表了一种先进的人工智能技术，能够在自然语言处理（NLP）任务上表现出卓越的能力，如文本生成、问答、对话交互、机器翻译以及其他基于语言的理解和生成任务。LLaMA模型家族的特点在于包含了不同参数规模的多个模型版本，参数量从70亿（7B）至650亿（65B）不等。这些模型设计时借鉴了Ch
Datawhale AI夏令营- 讯飞机器翻译挑战赛: 基于transformer框架实现
本文章基于使用了transformer模型去实现了一个英译中的模型,并参加了讯飞科大的NLP翻译比赛。
大语言模型系列-Transformer
Transformer模型的核心思想是利用自注意力机制来捕捉输入序列中的长距离依赖关系，从而有效地处理序列数据。它摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）结构，通过编码器-解码器架构实现了并行化计算，大大提高了训练效率。
与传统RNN相比，AI模型当红大神Transformer有什么新魔法呢？
在处理“我决定明年再回去”这一小部分时，自注意力机制允许模型直接关联到“去年我去了西湖”中的“西湖”，从而建立了一个直接的联系。这是因为在计算注意力分数时，每个单词的表示（查询）会与所有其他单词的表示（键）进行比较，从而直接捕捉到它们之间的相关性，无论它们在文本中的距离如何。然而，由于RNN在处理序
