DeepSpeed使用指南(简略版)
Zero Redundancy Optimizer (ZeRO)是DeepSpeed的workhorse. 用户可以提供不同的ZeRO config文件,来实现DeepSpeed的不同功能特性。来看一下官网教程对ZeRO的描述:一句话总结:,划分而不是复制。即,传统的深度学习,模型训练并行,是将模型
【CBAM 解读】混合注意力机制:Convolutional Block Attention Module
本文提出了卷积块注意模块(CBAM),这是一种简单而有效的前馈卷积神经网络注意模块。
Repvgg详解及其实现(pytorch)
原论文中的结构图很直观的展示了repvgg到底是什么意思,对比Resnet它仍然有着类似残差的结构,就是在3*3的卷积基础上弄了一个1*1的分支和一个identity分支(在步长不等于2且输入输出通道相等的情况下),这样除了方便推理过程的融合,似乎还有多分支的好处,因为有丰富的梯度信息(狗头保命),
对Transformer中Add&Norm层的理解
首先我们还是先来回顾一下Transformer的结构:Transformer结构主要分为两大部分,一是Encoder层结构,另一个则是Decoder层结构,Encoder 的输入由 Input Embedding 和 Positional Embedding 求和输入Multi-Head-Atten
YOLOv5 6.0/6.1结合ASFF
YOLO小白纯干货分享!!!YOLOv5 6.0/6.1结合ASFF。本人在多个数据集上做了大量实验,针对不同的数据集效果不同,需要大家进行实验。有效果有提升的情况占大多数。最后,希望能互粉一下,做个朋友,一起学习交流。
2023年3月的10篇论文推荐
本文整理的是本月应该阅读的10篇论文,将包括多模态语言模型、扩散模型、机器翻译等主题。
在Ubuntu20.04系统上LIO-SAM跑KITTI数据集和自己数据集代码修改
LIO-SAM跑KITTI数据集和自己数据集代码修改参考文献参考文献1、ubuntu18运行编译LIO-SAM并用官网和自己的数据建图(修改汇总)2、LIO-SAM运行自己数据包遇到的问题解决–SLAM不学无数术小问题3、使用开源激光SLAM方案LIO-SAM运行KITTI数据集,如有用,请评论雷锋
图像超分辨率重建(pytorch)
本文在原论文的基础上进行了代码补充,并提供了整个流程的代码运行方法以完成图像超分辨率工作。
XGBoost模型调参:GridSearchCV方法网格搜索优化参数
GridSearchCV是XGBoost模型最常用的调参方法。本文主要介绍了如何使用GridSearchCV寻找XGBoost的最优参数,有完整的代码和数据文件。文中详细介绍了GridSearchCV的工作原理,param_grid等常用参数;常见的learning_rate和max_depth等可
YOLOv5-v6.0学习笔记
YOLOv5-6.0版本的Backbone主要分为Conv模块、CSPDarkNet53和SPPF模块。YOLOv5在Conv模块中封装了三个功能:包括卷积(Conv2d)、Batch Normalization和激活函数,同时使用autopad(k, p)实现了padding的效果。其中YOLOv
pytorch 多GPU并行训练代码讲解
pytorch 多GPU并行训练介绍,参考我之前的博客:pytorch中使用多GPU并行训练。本文主要针对代码部分进行讲解。1. 首先判断有没有可用的GPU,如果没有的话,这边会报错提醒,因为我们的脚本对针对多GPU训练的场景的。2. 初始化各进程环境。
【损失函数:3】感知损失:Perceptual Loss、总变分损失(TV Loss)(附Pytorch实现)
提出感知损失的概念,用于实时超分辨任务和风格迁移任务,后来也被应用于更多的领域,在图像去雾方向也有不少工作使用到了感知损失,所以这里就细看一下感知损失具体是什么,该如何构造(说个题外话:我之前做实验,用VGG提取特征构造感知损失狂爆内存,然后直接放弃了,都怪设备太垃圾啊!!!)。
OpenCV实战(14)——图像线条提取
轮廓检测指在图像中,忽略背景和目标内部的纹理以及噪声干扰的影响实现目标轮廓提取的过程。轮廓检测是目标检测、形状分析、目标识别和目标跟踪等技术的重要基础。本节,我们介绍了如何使用轮廓检测算子 Canny 检测目标轮廓,同时讲解了霍夫变换及其变体概率霍夫变换,可以用于检测任何能够用参数方程表达的形状。
SENet代码复现+超详细注释(PyTorch)
SENet代码复现(PyTorch),每一行都有超详细注释,新手小白都能看懂,亲测可运行
【运筹优化】带时间窗约束的车辆路径规划问题(VRPTW)详解 + Python 调用 Gurobi 建模求解
车辆路径规划问题(Vehicle Routing Problem,VRP)一般指的是:对一系列发货点和收货点,组织调用一定的车辆,安排适当的行车路线,使车辆有序地通过它们,在满足指定的约束条件下(例如:货物的需求量与发货量,交发货时间,车辆容量限制,行驶里程限制,行驶时间限制等),力争实现一定的目标
【机器学习】9种回归算法及实例总结,建议学习收藏
我相信很多人跟我一样,学习机器学习和数据科学的第一个算法是线性回归,它简单易懂。由于其功能有限,它不太可能成为工作中的最佳选择。大多数情况下,线性回归被用作基线模型来评估和比较研究中的新方法。在处理实际问题时,你应该了解并尝试许多其他回归算法。一方面可以系统学习回归算法,另外一方面在面试中也常用到这
yolov5损失函数详解【附代码】
本文章将结合代码对yolov5损失函数部分进行详细说明,包含其中的样本匹配问题。如果还需要学习关于yolov5其他部分内容,可以参考我其他文章。yolov5语义分割:yolov5 trt 学习:yolov5剪枝:通过yaml修改yolov5:iou样本匹配:下面的3个feature_map是仿照v5
从0到1实现GCN——最详细的代码实现
从0到1的GCN代码实现。详细介绍了基于GCN公式的代码实现,以及更加简单高效的基于Pytorch Geometric(PyG)的GCN的代码实现。帮助小白快速入手GCN!!!
麻雀优化算法SSA及其改进策略
本文罗列常见改进策略,并将其应用于麻雀优化算法(SSA)的改进上,并对比改进后的效果。
肝一波,这个网站居然可以免费使用ChatGpt功能
chatgpt体验