深度学习系列25:注意力机制

1. 从embedding到Encoder-Decoder1.1 Embedding首先需要用到embedding,把K维的0-1特征向量用k维的浮点数特征向量表示。直观代码如下:from keras.models import Sequentialfrom keras.layers import

torch.nn.functional.interpolate()函数详解

通常可以使用pytorch中的torch.nn.functional.interpolate()实现插值和上采样。上采样,在深度学习框架中,可以简单理解为任何可以让你的图像变成更高分辨率的技术。input(Tensor):输入张量size(intor Tuple[int] or Tuple[int,

【深度学习】--图像处理中的注意力机制

注意力机制是一个非常有效的trick,注意力机制的实现方式有许多。可以在知网上搜索一下yolov下的目标监测的硕士论文,没有一篇没有提到注意力机制的迭代修改的,所以很有必要学一下,最后给出了一个例子。输入还是等于输出,可是却是已经获取和注意力的特征.正是因为这个特点,所以注意力机制可以任意插拔。 *

超实用的7种 pytorch 网络可视化方法,进来收藏一波

引导前言1. torchsummary2. graphviz + torchviz3. Jupyter Notebook + tensorwatch4. tensorboardX5. netron6. hiddenlayer7. PlotNeuralNet结语前言网络可视化的目的一般是检查网络结构的

毕业设计-基于深度学习火灾烟雾检测识别系统-yolo

毕业设计-基于深度学习火灾烟雾检测识别系统-yolo

YOLOv8项目推理从CPU到GPU

YOLOv8项目推理从CPU到GPU;YOLOv8;从CPU到GPU。

Huggingface微调BART的代码示例:WMT16数据集训练新的标记进行翻译

BART模型是用来预训练seq-to-seq模型的降噪自动编码器(autoencoder)。它是一个序列到序列的模型,具有对损坏文本的双向编码器和一个从左到右的自回归解码器,所以它可以完美的执行翻译任务。

DDPG强化学习的PyTorch代码实现和逐步讲解

深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)是受Deep Q-Network启发的无模型、非策略深度强化算法,是基于使用策略梯度的Actor-Critic,本文将使用pytorch对其进行完整的实现和讲解

pytorch2.0安装与体验

pytorch2.0 相对1.x进行了大版本更新,向下兼容!!!!通过官网阅读可知他最大的更新是torch.compile(),通过编译的方式,用一行代码实现模型的稳定加速。这个语句返回一个原来模型的引用,但是将forward函数编译成了一个更优化的版本。PyTorch 2.0 中支撑 torch.

NLP / LLMs中的Temperature 是什么?

ChatGPT, GPT-3, GPT-3.5, GPT-4, LLaMA, Bard等大型语言模型的一个重要的超参数

AI风暴 :文心一言 VS GPT-4

AI风暴 :文心一言 VS GPT-4

yolov7数据集格式用于目标识别与实例分割

解释yolov7目标识别与实例分割使用的数据集格式

经典神经网络论文超详细解读(七)——SENet(注意力机制)学习笔记(翻译+精读+代码复现)

SENet论文(《Squeeze-and-Excitation Networks》)超详细解读。翻译+总结。文末有代码复现

Pointpillars三维点云实时检测

实现实时检测的pointpillars

详解:yolov5中推理时置信度,设置的conf和iou_thres具体含义

详解:yolov5中推理时置信度,设置的conf和iou_thres具体含义

深入探讨YOLOv8 网络架构

我们的基准测试是在英特尔的支持下开发的,是计算机视觉从业者的基准测试,旨在为以下问题提供更好的答案:“该模型在我的自定义数据集上的表现如何?由于我们知道这个模型会不断改进,我们可以将最初的 YOLOv8 模型结果作为基线,并期待随着新迷你版本的发布而进行未来的改进。下面的箱线图告诉我们,当针对 Ro

【YOLOV5-6.x讲解】数据增强方式介绍+代码实现

数据增强的作用:分割需要在像素级别进行标签标注,一些专业领域的图像标注,依赖于专业人士的知识素养,在数据集规模很小的情况,如何提高模型的表现力迁移学习:使得具有大量标注数据的源域帮助提升模型的训练效果数据增强 学习到空间的不变形,像素级别的不变形特征都有限,利用平移,缩放,旋转,改变色调值等方法,让

【修改huggingface transformers默认缓存文件夹】

huggingface transformers; 默认缓存目录

Pytorch—模型微调(fine-tune)

对于不同的层可以设置不同的学习率,一般情况下建议,对于使用的原始数据做初始化的层设置的学习率要小于(一般可设置小于10倍)初始化的学习率,这样保证对于已经初始化的数据不会扭曲的过快,而使用初始化学习率的新层可以快速的收敛。

聊聊关于图像分割的损失函数 - BCEWithLogitsLoss

目录1. sigmoid + BCELoss2. BCEWithLogitsLoss3. gossip本篇文章是在做图像分割任务,关于损失函数的一些内容。这里需要的损失函数是:BCEWithLogitsLoss() 就是:sigmoid + BCELoss接下来通过例子来讲解,例如图像分割的时候,网