LLaMA模型文件 (搬运工)
如果要使用huggingface transformer训练LLaMA,需要使用额外的转换脚本(具体详见huggingface官网。建议提前确认自己的huggingface版本。或者使用上述已经被转换好的。但是申请的审批时间一般都很长。才能获得官方模型权重。
PyTorch-Forecasting一个新的时间序列预测库
PyTorch- forecasting是一个建立在PyTorch之上的开源Python包
YOLOv8 Bug及解决方案汇总
m = getattr(torch.nn, m[3:]) if 'nn.' in m else globals()[m] # get module
常见AI模型参数量-以及算力需求评估
不同的算法模型对计算能力的要求不同,对于视频分析场景,通过业界主流ISV在该AI推理卡的测试结果来看,在每路视频的分辨率为不低于1080P,帧率不低于25帧,同屏检测目标数不低于5个的情况下,每路视频需要5.5T(INT8)的算力进行解析。参考业界流行的视频训练算法(表一、第四章),训练一个模型需要
深度学习中的训练和验证损失
深度学习是机器学习的一个分支,包括使用人工神经网络。特别是,深度学习算法允许计算机程序学习和发现大量数据中的模式。人工神经网络是受生物体中生物神经网络工作原理启发的算法。人工神经网络通常由相互连接的节点和权重组成。因此,输入信号首先通过称为神经元的节点传递。然后,这些神经元被一个函数激活并乘以权重以
2023年华中杯C题计算结果
经过一晚上代码的编写,论文的写作,C题完整版论文已经发布,注:蓝色字体为说明备注解释字体,不能出现在大家的论文里。黑色字体为论文部分,大家可以根据红色字体的注记进行摘抄。对应的详细的写作视频教程,争取1号晚上发布,空气质量预测与预。
Meta 开源语音 AI 模型支持 1,100 多种语言
本周一Meta 又开源了新的语音模型MMS,并且发布了支持1100种语言的预训练模型权重
ptuning v2 的 chatglm垂直领域训练记录
第二我要减小十倍的学习率,观察一下减小十倍的学习率能不能提升ptuning的效果。基于终端的交互,基于简单界面的交互,基于fastapi框架提供的接口进行交互。从中国大百科爬下来的数据,有一些标题的输入是比较短的。喜欢大模型的小伙伴可以加我的 15246115202 一起交流训练大模型所需要的细节都
DDPM代码详细解读(1):数据集准备、超参数设置、loss设计、关键参数计算
DDPM代码详细解读(1):数据集准备、超参数设置、loss设计、关键参数计算
【Stable Diffusion】什么是VAE
VAE是Stable Diffusion的一种重要的深度学习模型,它可以使图像变得更鲜艳,帮助AI绘画师更好地理解输入图像的特征,并生成更加逼真的绘画作品,本文从基本概念讲起,对VAE的作用,打开方式,存放位置,下载途径等方面进行简要的全面介绍,帮助初学者快速入门,快速使用。
深入浅出Pytorch函数——torch.zeros
torch.zeros
UNeXt:基于 MLP 的快速医学图像分割网络
UNeXt是约翰霍普金斯大学在2022年发布的论文。它在早期阶段使用卷积,在潜在空间阶段使用 MLP。通过一个标记化的 MLP 块来标记和投影卷积特征,并使用 MLP 对表示进行建模。对输入通道进行移位,可以专注于学习局部依赖性。
MMEngine理解
MMEngine学习理解
基于Docker的深度学习环境NVIDIA和CUDA部署以及WSL和linux镜像问题
docker的介绍网上有很多,对于深度学习的认来讲,docker的好处就是直接把环境分享给他人,他人不需要再配置环境了。比如我有一个目标检测的项目,我想分享给朋友,那么他首先需要在自己的电脑上配置好显卡驱动、CUDA、CuDNN,在拿到我的项目后,还需要安装各种依赖库,最后代码还不一定跑起来。如果我
yolov5简要介绍
正样本匹配:寻找负责预测真值框的先验框 (不负责的作为负样本或丢弃)正样本寻找过程:与以往的用IOU匹配不同,yolov5用如下2步骤进行正样本匹配:1、先验框尺寸匹配:目标框与先验框的宽比值、高比值的最大值 小于一定阈值,则为正匹配。
经典CNN卷积神经网络发展史+论文+网络实现(PyTorch)
经典CNN卷积神经网络发展史+网络实现(PyTorch)
什么是归一化,它与标准化的区别是什么?
归一化与标准化是什么,两者有何关联?有何差别?
深度学习模型的训练(大总结)
在我们训练模型时,会经常使用一些小技巧,包括:模型的保存与加载、断点的保存与加载、模型的冻结与预热、模型的预训练与加载、单GPU训练与多GPU训练。这些在我们训练网络的过程中会经常遇到。方法二:仅保存参数(数据量小,推荐!)注意:加载模型权重时,我们需要先实例化模型类,因为该类定义了网络的结构。如果
2023 年第八届数维杯大学生数学建模挑战赛 B 题 节能列车运行控制优化策略
假设一辆列车在水平轨道上运行,从站台A运行至站台B,其间距为5144.7m, 运行的速度上限为100km/h,列车质量为176.3t,列车旋转部件惯性的旋转质量 因数p = 1.08 ,列车电机的最大牵引力为310KN,机械制动部件的最大制动力为 760KN。在同一段旅途中,列车使 用不同的驾驶策略
Python——图像缺失弥补
关于loss值的选取:对于completion比较简单,采用MSE值来计算,就是简单地用生成的图片和真实图片做一个减法,就可以得出loss值;这个图片去跑completion网络,并且把网络参数保存——然后在completion基础上,用global completion得到的全局图片和生成的loc