KL散度和交叉熵的对比介绍
KL散度（Kullback-Leibler Divergence）和交叉熵（Cross Entropy）是在机器学习中广泛使用的概念。这两者都用于比较两个概率分布之间的相似性，但在一些方面，它们也有所不同。本文将对KL散度和交叉熵的详细解释和比较。
优化器SGD、Adam和AdamW的区别和联系
优化器是用来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化(或最大化)损失函数。
ResNet 训练CIFAR10数据集，并做图片分类
超深的网络结构，可以突破1000层提出residual 模块使用Batch Normalization 抑制过拟合，丢弃Dropout方法针对第一点，我们知道加深网络层对于提升网络性能至关重要。然而实际情况中，网络层的加深会导致学习无法进行，性能会更差。因为网络的深度会导致梯度消失或者梯度爆炸的问题
CNN(一维卷积Conv1D)实现时间序列预测(PyTorch版)
本专栏整理了《深度学习时间序列预测案例》，内包含了各种不同的基于深度学习模型的时间序列预测方法，例如LSTM、GRU、CNN（一维卷积、二维卷积）、LSTM-CNN、BiLSTM、Self-Attention、LSTM-Attention、Transformer等经典模型，包含项目原理以及源码，每一
深度学习之CSPNet网络分析
一、简介CSPNet：Cross Stage Partial Network，跨阶段局部网络作用：从网络设计角度来缓解以前推理时需要很大计算量的问题推理计算过高的原因：由于网络优化中的梯度信息重复导致的！cspnet解决方式：通过将梯度的变化从头到尾地集成到特征图中，在减少了计算量的同时可以保证准确
图解cross attention
交叉注意力与自我注意力。
ChatGPT相关核心算法
ChatGPT 的卓越表现得益于其背后多项核心算法的支持和配合。本文将分别介绍作为其实现基础的 Transformer 模型、激发出其所蕴含知识的Prompt/Instruction Tuning 算法、其涌现出的思维链能力、以及确保其与人类意图对齐的基于人类反馈的强化学习算法。
os.environ[‘CUDA_VISIBLE_DEVICES‘] 和torch.cuda.set_device()
在使用 PyTorch 进行训练之前，需要确保已经正确设置了可见的 GPU 设备，并且已经初始化了 CUDA 环境。是一个环境变量，可以通过设置它来限制程序所能看到的可用 GPU 设备列表，从而确保程序只使用指定的 GPU 设备。设置该环境变量可以使用。则是一个 PyTorch 提供的函数，用于将程
深度学习｜论文中常用的注意力模块合集(下)
注意力机制可以增加少量参数的情况下来提升计算精度和模型性能，在论文中常用的注意力模块合集(上)中介绍了三种注意力机制，它们分别是CA、CBAM和SE，均在目标检测和语义分割领域内能够提升模型的性能，废话不多说，直接开始讲解剩下的论文中常用的注意力模型。1、有效通道注意力(Efficient Chan
语义分割的常用指标详解
1 混淆矩阵假设有6个类别，L为10个真实标签的取值，P为对应的预测的标签值，先计算对应的n(类别数，这里假设为6）xL+P:bin的值一定是分类数的平方。混淆矩阵先将真实标签和预测标签抻成一维向量，做一个对应关系（nxL+P)，再将这个对应的一维向量抻成二维矩阵，如下图，很奇妙地将真实值与预测值之
yolov5-runs文件中对train结果的说明
yolov5中train结果说明
AutoGPT、AgentGPT、BabyAGI、HuggingGPT、CAMEL：各种基于GPT-4自治系统总结
本文将整理一些开源的类似AutoGPT的工具系统
ChatGPT类模型汇总
当今的自然语言处理领域，基于Transformer架构的大型语言模型（LLM）成为了研究的热点，其中ChatGPT类模型更是备受关注。这类模型以OpenAI GPT系列模型为代表，具有无监督预训练和有监督微调的能力，可以为对话系统、问答系统等任务提供强大的语言生成和理解能力。本篇博客将对当前较为知名
深度学习数据集—水果数据集大合集
深度学习数据集—水果数据集大合集
ICLR 2023 | 达摩院开源轻量人脸检测DamoFD
目前的NAS方法主要由两个模块组成，网络生成器和精度预测器。其中网络生成器用于生成候选的backbone结构，精度预测器用来对采样的backbone结构预测精度。由于检测和分类的任务目标不一致，前者更重视backbone stage-level (c2-c5)的表征，而后者更重视high-level
2022年 change detection遥感图像变化检测 论文附代码
动机：可用于训练CD模型的标注训练图像较少,应该注重从数百万免费可用的、无标记的、无策展的遥感图像中挖掘尽可能多的信息，以提高CD的准确性和鲁棒性。动机：可用于训练CD模型的标注训练图像较少,应该注重从数百万免费可用的、无标记的、无策展的遥感图像中挖掘尽可能多的信息，以提高CD的准确性和鲁棒性。介绍
Pytorch实战：基于鲸鱼WOA优化1DCNN的轴承故障诊断
采用1DCNN进行轴承故障诊断建模，并基于鲸鱼优化算法WOA对1DCNN的超参数进行优化，以实现更高的精度。建立一个两层的1DCNN，优化的参数包括学习率、训练次数、batchsize，卷积层1的核数量、核大小，池化层1的核大小，卷积层2的核数量、核大小，池化层2的核大小，全连接层1、全连接层2的节
chatgpt生成图片方法总结
Ganbreeder：这个网站使用GAN技术生成数字艺术品，但与Artbreeder不同的是，它让用户可以直接操作模型的参数和设置，生成更具个性化的图片。Artbreeder：这是一个非常流行的AI生成图片网站，它可以让用户使用GAN技术生成独特的数字艺术品。您可以选择不同的艺术风格、颜色方案、主题
torch.nn.Conv3d
torch.nn.Conv3d
