一文弄懂 Transformer模型(详解)

Transformer自注意力机制是一种在自然语言处理(NLP)领域中广泛使用的机制,特别是在Transformer模型中,这种机制允许模型在处理序列数据时,能够捕捉到序列内部不同位置之间的相互关系。1、查询(Query)、键(Key)、值(Value):自注意力机制将输入序列中的每个元素视为一个查

GPU介绍和入门知识整理

GPU入门介绍知识

让模型评估模型:构建双代理RAG评估系统的步骤解析

我们将介绍一个基于双代理的RAG(检索增强生成)评估系统。该系统使用生成代理和反馈代理,基于预定义的测试集对输出进行评估。或者更简单的说,我们使用一个模型来评估另外一个模型的输出。

【AI大模型】LLM主流开源大模型介绍

随着ChatGPT迅速火爆,引发了大模型的时代变革,国内外各大公司也快速跟进生成式AI市场,近百款大模型发布及应用。目前,市面上已经开源了各种类型的大语言模型,本章节我们主要介绍其中的三大类...

python实现六种垃圾分类(基于mindspore深度学习框架)

本实验使用MindSpore框架进行AI模型的训练与部署,通过训练一个基于MobileNet V2架构的深度学习模型,实现六种垃圾分类。具体目标包括:1. 下载并预处理垃圾分类数据集。2. 利用预训练的MobileNet V2模型进行微调,训练出一个高精度的垃圾分类模型。3. 实现实时垃圾分类的功能

AI数字人硅基数字人模型训练模型网络结构和训练代码

AI数字人实时数字人硅基数字人模型推理代码和模型网络结构

Datawhale X 李宏毅苹果书 AI夏令营

阅读李宏毅老师苹果书及搭配视频的一次记录

CAS-ViT:用于高效移动应用的卷积加法自注意力视觉Transformer

这是8月份再arxiv上发布的新论文,我们下面一起来介绍这篇论文的重要贡献

Datawhale X 李宏毅苹果书 AI夏令营(Task2)

根据GPU是否可用选择设备类型# 初始化模型,并将其放置在指定的设备上# 定义批量大小# 定义训练轮数# 如果在'patience'轮中没有改进,则提前停止# 对于分类任务,我们使用交叉熵作为性能衡量标准# 初始化优化器,您可以自行调整一些超参数,如学习率。

【深度智能】:迈向高级时代的人工智能全景指南

本学习路线详细分解了人工智能学习过程中涉及的各个知识点,并通过具体案例对其进行了深入解析。学习者应从基础知识入手,逐步深入到机器学习和深度学习领域,再到高级应用、项目实践和前沿研究,持续学习和实践,不断提升自己的能力。

【AI大模型】ChatGPT模型原理介绍(下)

2020年5月, OpenAI发布了GPT-3, 同时发表了论文“Language Models are Few-Shot Learner”《小样本学习者的语言模型》.通过论文题目可以看出:GPT-3 不再去追求那种极致的不需要任何样本就可以表现很好的模型,而是考虑像人类的学习方式那样,仅仅使用极少

IsaacLab从入门到精通(三) 强化学习环境的创建

IsaacLab系列第三章,创建强化学习环境

如何预测足球比赛的胜平负进球数?也许我们可以这么做

预测足球比赛的进球数是一个复杂的任务,涉及到多种统计和机器学习方法。从泊松回归模型到Elo评分系统,再到蒙特卡罗模拟和现代的机器学习技术,每种方法都有其独特的优点和局限性。为了提高预测的准确性,在实际应用中,为了便利性,我们应当以AI技术为基底,整合并串联各项技术算法,以此确保系统的预测命中率,同时

人工智能、机器学习和深度学习有什么区别?应用领域有哪些?

人工智能、机器学习和深度学习有什么区别?应用领域有哪些?

[医疗 AI ] 3D TransUNet:通过 Vision Transformer 推进医学图像分割

医学图像分割在推进医疗保健系统的疾病诊断和治疗计划中起着至关重要的作用。U 形架构,俗称 U-Net,已被证明在各种医学图像分割任务中非常成功。然而,U-Net 基于卷积的操作本身限制了其有效建模远程依赖关系的能力。为了解决这些限制,研究人员转向了以其全局自我注意机制而闻名的 Transformer

Splitwise:使用相位分裂实现高效生成式 LLM 推理

24年5月来自华盛顿大学和微软的论文“Splitwise: Efficient Generative LLM Inference Using Phase Splitting”。

讲解基于图神经网络的情绪识别深度学习模型DGCNN(附基础原理讲解和代码讲解)

频谱图理论 (Spectral Graph Theory)是用线性代数概念(如特征向量和特征值理论)研究图的性质。(想要简单了解频谱图理论可以参考这个视频。DGCNN的基础是Chebynet。Chebynet是一种频谱图神经网络(Spectral GNNs)在频谱域中操作,具体指的是在图的拉普拉斯矩

self-attention(自注意力) 和 cross-attetion(交叉注意力) 中的差异

自注意力和交叉注意力的差异

【人工智能】九种神经网络模型

人工神经网络 (ANN) 是人工智能深度学习的一个基本概念。它们在处理传统机器学习算法难以处理的复杂应用场景方面至关重要。神经网络是解决复杂问题的强大工具。它们可以学习和适应数据,并且在各个行业都有广泛的应用。对于任何想要深化人工智能和深度学习技能的人来说,它们都是必不可少的。

秃姐学AI系列之:残差网络 ResNet

假如你只想在卷积神经网络了解一个网络,那一定是ResNet!!!