深度学习之GPU显存与利用率 浅析小结
首先就一笔带过说一下GPU的重要性吧，以Pytorch为例，就是使用CUDA，cuDNN对深度学习的模型推理时执行的各种计算转换为矩阵乘法进行加速，来达到从猴年马月的运行，到现在几十成百倍的提速。至于我们爱之深恨之切的显存呢，以数据读取时GPU运行内存的变化作为参考，具体实现机制一般是通过worke
优化器(Optimizer)（SGD、Momentum、AdaGrad、RMSProp、Adam）
文章目录3.1、传统梯度优化的不足(BGD,SGD,MBGD)3.1.1 一维梯度下降3.1.2 多维梯度下降3.2、动量(Momentum)3.3、AdaGrad算法3.4、RMSProp算法3.5、Adam算法优化器在机器学习、深度学习中往往起着举足轻重的作用，同一个模型，因选择不同的优化器，性
深度学习知识点简单概述【更新中】
人工神经网络(英语:Artificial Neural Network，ANN)，简称神经网络(Neural Network,NN）或类神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑）的结构和功能的数学模型，用于对函数进行估计或近似。ps：和其他机器学习方法一样，神经网络已经被用于
深度学习面试基础--BN层
深度学习中BN层的相关介绍
【GPT4】GPT4 官方报告解读
【GPT-4 】官方[研究进展]、[技术报告]全面解读。综合性能，图像输入，私人定制，事实判断的局限性，风险与应对，模型训练过程，用户政策和价格，API 使用。GPT-4 是 OpenAI 在深度学习领域的最新里程碑。GPT-4 是一个大型多模态模型，可以接受图像和文本输入，发出文本输出。虽然 GP
简单粗暴提升yolov5小目标检测能力
和yolov5最开始做的focus是类似的，对于输入的特征图（长宽为S），从左到右以及从上到下每scale个像素采样一次，假设scale=2，采样方式就和上图一样，经过这样采样的输出长宽就是S/2，最后将采样后的输出进行concatenate，通道数就是scale的平方，即4。左侧是yolov5原始
【跟着ChatGPT学深度学习】ChatGPT带我入门深度学习
跟着ChatGPT学深度学习第一弹，入门深度学习。本次ChatGPT老师共教我三个知识点，分别是深度学习基础、深度学习的学习资源和深度学习需要掌握的技能和知识。最后，ChatGPT老师还贴心地给深度学习新手和老手总结了一些学习建议。
Multi-head Self-attention（多头注意力机制）
Multi-head Self-attention（多头注意力机制）是怎么样的实现过程
slowfast代码实现和论文理解
1、摘要本文提出了用于视频识别的SlowFast网络。我们的模型包括：（1）一条slow pathway，以低帧速率运行，以捕获空间语义；（2）一条fast pathway，以高帧速率运行，以精细的时间分辨率捕获运动。fast pathway可以通过减少通道容量而变得非常轻量，但可以学习有用的时间信
分割网络损失函数总结！交叉熵，Focal loss，Dice，iou，TverskyLoss！
交叉熵损失，Focal loss, Dice, iou, Tverskyloss!
CLIP论文详解
CLIP算是在跨模态训练无监督中的开创性工作，作者在开头梳理了现在vision上的训练方式，从有监督的训练，到弱监督训练，再到最终的无监督训练。这样训练的好处在于可以避免的有监督的 categorical label的限制，具有zero-shot性质，极大的提升了模型的实用性能。这篇文章中作者提到早
【电子、电气、人工智能、图像处理、红外】EI会议（2023）
2023年EI会议，领域包括图像处理、电子信息、机械、光学、深度学习、计算机视觉等等
经典神经网络论文超详细解读（一）——AlexNet学习笔记（翻译＋精读）
AlexNet（ImageNet Classification with Deep Convolutional Neural Networks）论文超详细解读。翻译＋总结
Yolov5--从模块解析到网络结构修改（添加注意力机制）
文章目录1.模块解析(common.py)01. Focus模块02. CONV模块03.Bottleneck模块：04.C3模块05.SPP模块2.为yolov5添加CBAM注意力机制最近在进行yolov5的二次开发，软件开发完毕后才想着对框架进行一些整理和进一步学习，以下将记录一些我的学习记录。
pytorch从零开始搭建神经网络
pytorch教程之nn.Sequential类详解——使用Sequential类来自定义顺序连接模型_LoveMIss-Y的博客-CSDN博客_sequential类pytorch教程之nn.Module类详解——使用Module类来自定义模型_LoveMIss-Y的博客-CSDN博客_torch
语义分割之SegFormer分享
今年可以说是分割算法爆发的一年，首先Vit通过引入transform将ADE20K mIOU精度第一次刷到50%，超过了之前HRnet+OCR效果，然后再是Swin屠榜各大视觉任务，在分类，语义分割和实例分割都做到了SOTA，斩获ICCV2021的bset paper，然后Segformer有凭借对
目标检测: 一文读懂 YOLOX
论文：YOLOX: Exceeding YOLO Series in 2021论文链接：https://arxiv.org/pdf/2107.08430.pdf代码链接：https://github.com/Megvii-BaseDetection/YOLOX.文章目录1 为什么提出YOLOX2 Y
【图像处理】图像离散小波变换（Discrete Wavelet Transform）及python代码实现
Motivation看到有论文用到了图像的Haar Discrete Wavelet Transform（HDWT），前面也听老师提到过用小波变换做去噪、超分的文章，于是借着这个机会好好学习一下。直观理解参考知乎上的这篇文章：https://zhuanlan.zhihu.com/p/22450818
深度学习网络各种激活函数 Sigmoid、Tanh、ReLU、Leaky_ReLU、SiLU、Mish
激活函数的目的就是：梯度为0， 无法反向传播，导致参数得不到更新：随着数据的变化，梯度没有明显变化：梯度越来越大，无法收敛梯度消失问题：1、反向传播链路过长，累积后逐渐减小2、数据进入梯度饱和区如何解决：1、选正确激活函数，relu, silu2、BN 归一化数据3、 resnet 较短反向传播路径
全面解析PaDiM
使用PaDiM网络跑自己的数据集，除去测试时读入dataloader的时间，每张图片测试时间在20-30ms，精度比较高，图像分类准确率99-100，像素分割准确率97以上，但是最大的问题是需要通过分割好的label来确定阈值选取（这一点必定要改过来）。for循环内的二次for循环：在tqdm的fo
