Transfomer编码器中自注意力机制、前馈网络层、叠加和归一组件等讲解(图文解释)
Transfomer编码器中自注意力机制、前馈网络层、叠加和归一组件等讲解(图文解释)
知识图谱从入门到应用——知识图谱推理:基于表示学习的知识图谱推理-[嵌入学习]
首先介绍基于嵌入学习的知识图谱推理模型,即知识图谱嵌入(KG Emebedding)。知识图谱最关心的推理任务是关系推理。现实场景中的很多问题都可以归结为基于知识库中已知的事实和关系来推断两个实体之间的新关系或新事实。给定两个实体,预测它们之间是否存在rrr关系给定头实体或尾实体,再给某个关系,预测
ROS机器人自主导航详解
机器人在完成建图后即可在建立好的地图中进行导航,在ROS机器人中,导航使用到Navigation功能包集。Navigation包中最重要的就是Amcl与Move_base两个核心节点,本篇将详细讲解这两个核心节点及其参数。
Transformer | DETR目标检测中的位置编码position_encoding代码详解
Transformer不像RNN可以根据位置顺序接受和处理单词,所以为了得到词的位置信息,将位置信息添加到每个词的嵌入向量中,这称为位置编码。DETR中提供了两种编码方式,一种是正弦编码(PositionEmbeddingSine),一种是可以学习的编码(PositionEmbeddingLearn
人工智能复试面试题总结
人工智能(Artificial Intelligence),英文缩写为AI。人工智能是研究、开发用于模拟、延伸和扩展人的智能理论、方法、技术及应用系统的一门新的技术科学,它是计算机科学的一个分支。可以说这是一门集数门学科精华的尖端学科中的尖端学科——因此说人工智能是一门综合学科。(是机器
基于chatGPT设计卷积神经网络
本文主要介绍基于chatGPT,设计一个针对骁龙855芯片设计的友好型神经网络。提问->跑通总共花了5min左右,最终得到的网络在Cifar100数据集上与ResNet18的精度对比如下。此外,GPT生成的模型训练速度更快,ResNet18才训练170个epoch,CNN-GPT已经完整地训练完了。
模型训练步骤
①准备数据集,一个训练数据集,一个测试数据集。因为CIFAR10数据集是PIL,要转为tensor数据类型。每次训练完进行一轮测试,看测试集的损失或者正确率评估模型是否训练好。返回64行数据,每一行10个数据,代表每一张图片的概率。利用DataLoader加载数据集。测试过程模型不需要调优,利用现有
【机器学习】一文搞懂标准化,归一化,正则化
归一化(Normalization): 将一列数据变化到某个固定区间(范围)中, 通常, 这个区间是[0,1],广义的讲, 可以是各种区间, 比如映射到[0,1] 也可以映射到其他范围,在图像中可能会映射到[0, 255], 其他情况也有可能映射到[-1,1];最大值最小值的归一化,范围[0,1]均
遗传算法系列 | 多种群遗传算法(matlab)
不难发现,虽然遗传算法在一些简单问题上效果不错,但面对复杂的多模态函数时,常常发生早熟(未成熟收敛),也就是群体中所有个体都趋于同一状态而停止进化。多种群遗传算法正是应对此问题的方法之一,下面将从理论原理、算法流程以及程序实现上进行详细展开。......
中值滤波_中值滤波原理
均值滤波是典型的线性滤波算法,它是指在图像上对目标像素给一个模板,该模板包括了其周围的临近像素(以目标象素为中心的周围8个象素,构成一个滤波模板,即去掉目标象素本身).再用模板中的全体像素的平均值来代替原来像素值.均值滤波也称为线性滤波,其采用的主要方法为领域平均法.线性滤波的基本原理是用均值代替原
深度学习中的激活函数
深度学习中常用的激活函数优缺点分析:sigmoid、tanh、ReLU...
【代码实践】使用CLIP做一些多模态的事情
CLIP到底有多强,让我们来试试吧!CLIP模型及代码地址:GitHub - openai/CLIP: Contrastive Language-Image Pretraining一、准备环境先创建一个anaconda虚拟环境,包含python=3.7版本,将该环境命名为clip。成功。( pyto
【深度学习】学习率预热和学习率衰减 (learning rate warmup & decay)
当然,这种使用warmup和decay的learning rate schedule大多是在bert这种预训练的大模型的微调应用中遇见的。如果是做自然语言处理相关任务的,transformers已经封装了好几个带有warmup 和 decay的lr schedule。如果不是做研究的话,这些已经封装
【深度学习】pix2pix GAN理论及代码实现与理解
深度学习,pix2pixGAN, CGAN,patchGAN, 代码实现。
基于yolov5框架实现人流统计(目标检测算法、目标追踪算法以及越界识别功能)+手机获取统计人数
基于yolov5框架实现人流统计(主要AI算法包括:目标检测算法、目标追踪算法以及越界识别功能)+手机获取统计人数(喵提醒)
数学建模-回归分析(Stata)
X是自变量,Y是因变量。目的是通过X去预测Y。一般处理模型像:期末成绩分析,Y是成绩,X是性别、是否是班干部、平时作业完成度等自变量。银行借贷成功率分析等问题。
深度学习模型精度fp16和fp32
深度学习模型精度fp16和fp32
Labelme分割标注的使用(非常好)
博客转自于: Labelme分割标注软件使用这里建议大家按照我提供的目录格式事先准备好数据,然后在该根目录下启动labelme(启动目录位子,因为标注json文件中存储的图片路径都是以该目录作为相对路径的)1.1 创建label标签文件虽然在labelme中能够在标注时添加标签,但我个人强烈建议事先
损失函数——交叉熵损失函数
交叉熵损失函数
玩转GPT--在线文本生成项目[可入坑~科普系列]
没办法,最近ChatGPT杀疯了,没忍住,还是想look,look。没办法,哪个帅小伙能够忍受的了一个可以和自己对话的神奇的玩意儿。而且还是近距离去接触这个东西,如果你对自己的设备还有足够自信的话,咱们还能够给自己重新训练出一个模型,或者自己准备数据集,然后训练自己的“贾维斯”。嘿嘿,想想,这可比女