LLaMA3技术报告解读
语言模型预训练。将一个大型多语言文本语料库转换为离散的标记，然后在由此产生的数据上预训练一个大型语言模型，以执行下一个标记的预测。在训练过程中使用了8K标记的上下文窗口，在15.6Ttoken上预训练了一个拥有405B参数的模型。在标准预训练之后，还会继续进行预训练，将支持的上下文窗口增加到128k
RWKV: 与Transformer和Mamba掰掰手腕的小家碧玉
开源项目RWKV是一个“具有 GPT 级别LLM性能的RNN，也可以像transformer并行训练。它主要是解决了Transformer的高成本。注意力机制是 Transformer 霸权背后的驱动力之一。
（Hugging Face）如何训练和评估 Transformer 模型（代码 + 实践）
这个函数在实例化时，它需要一个分词器（tokenzier）以便知道使用哪个填充用的 token，以及模型填充在输入的左侧或右侧。填充到该批次中最长序列的长度，而不是填充到整个数据集中最长序列的长度。最后一项我们需要做的是，当我们将元素一起进行批处理时，将所有 example 填充到最长的句子的长度。
7.2 Transformer：具有里程碑意义的新模型——自注意力模型
自此，不管是学术界，还是工业界均掀起了基于Transformer的预训练模型研究和应用的热潮，并且逐渐从NLP领域延伸到CV、语音等多项领域。Transformer模型是一个具有里程碑意义的模型，它的提出催生了众多基于Transformer网络结构的模型，特别是在2018年预训练模型BERT的提出，
CAS-ViT: 高效移动应用的卷积加性自注意Vision Transformer
Vision Transformer（ViTs）是一种在神经网络领域取得了革命性进展的模型，它通过标记混合器（token mixer）强大的全局上下文能力，实现了对图像分类、目标检测、实例分割和语义分割等多个视觉任务的高效处理。然而，在资源受限场景和移动设备等实时应用中，成对的标记亲和力（token
Transformer应用之情感分析 - Transformer教程
Transformer模型凭借其自注意力机制在情感分析中展现了强大的能力。本文详细介绍了Transformer模型的基本原理、数据预处理方法以及实际应用实例。无论是企业、研究人员还是政府组织，都能通过Transformer模型获取更深入的情感洞察。Transformer模型凭借其自注意力机制在情感分
从零入门AI for Science（AI+化学）#Datawhale夏令营
关于随机森林（想细致了解可以看一下下面这两位博主）是 Datawhale 2024 年 AI 夏令营第三期的学习活动，基于天池平台开展的实践学习有感兴趣的同学可去http://competition.sais.com.cn/competitionDetail/532233/format（赛事网址）了
江大白 | 视觉Transformer与Mamba的创新改进，完美融合（附论文及源码）
在本文中，作者引入了MambaVision，这是首个专门为视觉应用设计的Mamba-Transformer混合骨架。作者提出了重新设计Mamba公式的方法，以增强全局上下文表示的学习能力，并进行了混合设计集成模式的综合研究。
如何评判大模型的输出速度？首Token延迟和其余Token延迟有什么不同？
如果你使用商用大模型，或者使用开源大模型本地化部署，除了生成的质量之外，另外一个关键的指标就是生成token的速度。而且并不是简单的每秒生成多少个token，而是拆成了两个阶段： 1. prefill：预填充，并行处理输入的 tokens。 2. decoding：解码，逐个生成下一个 toke
一文彻底搞懂Transformer - Add & Norm（残差连接和层归一化）
在Transformer模型中，Add & Norm（残差连接和层归一化）是两个重要的组成部分，它们共同作用于模型的各个层中，以提高模型的训练效率和性能。网络退化：网络退化（Degradation）是深度学习中一个常见的现象，特别是在构建深层神经网络时更为显著。它指的是在网络模型可以收敛的情况下，随
大模型推理加速调研（框架、方法）
大模型推理加速的目标是高吞吐量、低延迟。吞吐量为一个系统可以并行处理的任务量。延时，指一个系统串行处理一个任务时所花费的时间。调研了一些大模型推理的框架。
Transformer——逐步详解架构和完整代码搭建
Transformer是一个经典的编码解码结构，编码器decoder负责编码，解码器encoder负责解码。Transformer是基于seq2seq的架构，提出时被用在机器翻译任务上，后面变种Swin Transformer和Vision Transformer让其在CV领域也大放异彩。
Transformer模型
Transformer模型是一种在自然语言处理（NLP）及其他序列到序列（Seq2Seq）任务中广泛使用的深度学习模型框架。其基本原理和核心组件，尤其是自注意力机制（Self-Attention Mechanism），对于理解该模型的工作方式至关重要。以下是对Transformer模型基本原理和自注
NLP之transformer：transformer-explainer的简介、安装和使用方法、案例应用之详细攻略
NLP之transformer：transformer-explainer的简介、安装和使用方法、案例应用之详细攻略目录相关论文transformer-explainer的简介transformer-explainer的安装和使用方法transformer-explainer的案例应用相关论文《T
基于Transformer实现中英翻译任务的微调
本文旨在说明如何通过Transfoemers库和pytorch来微调一个中英翻译模型。这里选择开源的opus-mt-zh-en模型来实现微调，提升该模型在特定语料上的性能。入门小白，如果有误还请指导。
调用百度的大模型API接口实现AI对话！手把手教程！
本文介绍如何使用百度的大模型API接口实现一个AI对话项目。
【AI大模型】解锁AI智能：从注意力机制到Transformer，再到BERT与GPT的较量
在AI技术的迅猛发展中，注意力机制成为了关键驱动力，赋予机器高效处理复杂信息的能力。本文深入探索注意力机制及其核心应用——Transformer架构，解析其如何通过自注意力机制革新自然语言处理。同时，对比分析GPT与BERT两大热门模型，揭示它们在策略上的差异与共识，探讨其在未来智能技术中的潜力。此
论文阅读-Transformer Layers as Painters
尽管大语言模型现在已经被广泛的应用于各种任务，但是目前对其并没有一个很好的认知。为了弄清楚删除和重组预训练模型不同层的影响，本文设计了一系列的实验。通过实验表明，预训练语言模型中的lower和final layers与中间层分布不一致，并且中间层有着惊人的一致性。
书生·浦语2.5开源，推理能力再创新标杆
2024 年 7 月 3 日，上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式发布新一代大语言模型书⽣·浦语2.5（InternLM2.5）。相比上一代模型，InternLM2.5 有三项突出亮点：推理能力大幅提升，在部分维度上甚至超越十倍量级的 Llama3-70B；支持 1M toke
如何让大模型的输出长度可控？Meta AI开源新方法
文章通过提出LIFT方法，目标是减少模型评估中的“长度偏差”，提高模型遵循用户指令的生成长度约束的能力，使得大模型在实际应用中提供更多的可控性。PS：给公众号添加【星标⭐️】不迷路！您的。
