Vision Transformer模型与预训练权重简析

ViT (Vision Transformer) 是首次成功将 Transformer引入到视觉领域的尝试,开辟了视觉Transformer的先河。这里先对ViT的原理进行阐述,并对预训练文件ViT-B_16.npz的内容做一个简要介绍。

(一)PaddlePaddle(深度学习框架)的搭建、使用

PaddlePaddle(深度学习框架)的搭建、使用

SKnet论文解读

本文讲述sknet的核心部分:自适应性的注意力编码机制SKNet对不同输入使用的卷积核感受野不同,参数权重也不同,可以自适应的对输出进行处理注:本人才疏学浅,文章难免有疏漏之处,仅给初学者阅读交流,大牛轻喷.开始之前的题外话 说来也算有趣,最近读了几个关于CV领域的paper,有的号称其id

【自然语言处理】从词袋模型到Transformer家族的变迁之路

本文简要介绍了 BOW、TF-IDF、Word2Vec、Transformer、BERT、GPT、RoBERTa、 XLM、Reformer、ELECTRA、T5 等模型。

yolo-pose环境搭建及训练和测试

扔掉学术偏见,拥抱工程化的Yolo。由于一直没有使用过yolo,因此本文旨在从0基础配置yolo环境并训练和测试。论文地址代码地址有问题欢迎+vx: wulele2541612007,后续有空会出yolo-pose的源码解读,敬请期待。......

GPT-4:关于下一代人工智能模型的事实、谣言和期望

在深入细节之前,有必要描述一下 GPT 是什么。GPT(生成式预训练转换器)是一种文本生成 AI 模型,根据互联网上可用的数据进行训练。GPT 旨在生成类似人类的文本。将 GPT 视为按需智能。您可以在需要解决通常需要人工参与的问题时使用它。GPT模型的应用是无穷无尽的。它可以用于问答、文本摘要、翻

【半监督医学图像分割 2023 CVPR】UCMT 论文翻译

高质量的伪标签对于半监督语义分割是必不可少的。一致性正则化和基于伪标记的半监督方法利用来自多视图输入的伪标记进行协同训练。然而,这种协同训练模型往往在训练过程中早期收敛到一致,从而导致模型退化到自我训练模型。另外,多视点输入是通过对原始图像的扰动或增强而产生的,这不可避免地会在输入中引入噪声,导致低

vision transformer的位置编码总结

视觉transformer位置编码

【语义分割】类别不平衡损失函数合集

在语义分割领域,我们会常常遇到类别不平衡的问题。比如要分割的目标(前景)可能只占图像的一小部分,因此负样本的比重很大,导致网络倾向于将所有样本判断为负样本。本文介绍了在数据不平衡时常用的一些损失函数。类别不平衡会出现什么问题呢?假设我们需要训练一个分类器来对黄豆和绿豆分类,用100颗豆子训练分类器,

YOLOv5全面解析教程⑥:模型训练流程详解

欢迎Star、试用One-YOLOv5:https://github.com/Oneflow-Inc/one-yolov51结构项目预览2安装gitclonehttps://github.com/Oneflow-Inc/one-yolov5#clonecdone-yolov5pipinstall-r

小目标检测方法总结

小目标检测,切图拼图,SNIPER

Anconda虚拟环境创建及pytorch的安装步骤

Anconda虚拟环境创建及pytorch的安装步骤,包括conda install pytorch,torchvision,torchaudio,cudatoolkit。

浅谈CVPR2022的几个研究热点

CVPR2022刚刚结束,作为影响力最广的视觉盛会,今年又有一批优秀的工作被展示出来。相信关注视觉最新研究进展的各位小伙伴,已经磨拳擦掌,准备向CVPR2023投稿了。基于今年的工作,到底哪些领域是CVPR关注的热点?哪些领域的工作,接受度更高,oral的比例更大呢?基于CVPR官方最新的统计信息,

LSTM反向传播原理——LSTM从零实现系列(2)

lstm反向传播原理

对抗攻击与防御入门

对抗样本---深度学习

VAN(大核注意力机制)

VAN(大核注意力机制)

VAE模型——pytorch实现

【代码】VAE模型——pytorch实现。

YoloV8简单使用

目标检测不能没有Yolo,就像西方不能没有耶路撒冷。这个万能的目标检测框架圈粉无数,经典的三段式改进也是改造出很多论文,可惜我念书时的研究方向不是纯粹的目标检测,所以在做研究的时候没有用到过,但是同学用到的多啊,彼此交流也大概能知道Yolo的架构,这次决定好好学一学这个绝版Yolo。

ICRA2022 SLAM进展---激光SLAM

ICRA2022 slam论文简单导读,未完待续

AUTOMATIC1111/stable-diffusion-webui安装教程

AUTOMATIC1111/stable-diffusion-webui