DeepSpeed-MoE:训练更大及更复杂的混合专家网络
这是微软发布在**2022 ICML**的论文，MoE可以降低训练成本，但是快速的MoE模型推理仍然是一个未解决的问题。所以论文提出了一个端到端的MoE训练和推理解决方案DeepSpeed-MoE：它包括新颖的MoE架构设计和模型压缩技术，可将MoE模型大小减少3.7倍；
yolov7使用onnx推理（带&不带NMS）
上个月，官方放了个使用onnx推理的ipynb文件，过了几天上去看，官方又给删了，不知道是不是要更新波大的，还好手快保存了一份，这个可以作为备忘，懒得再重新写（不过这得是多懒。熟悉yolo系列的朋友应该看出上面的问题了，没有NMS，这是因为官方代码在导出onnx的时候做了简化和端到端的处理。如果单纯
推荐一个最近刚出的比较全面的多模态综述：Multimodal Deep Learning
多模态综述：Multimodal Deep Learning。对多模态、CV 和 NLP 领域中一些任务的 数据集、模型、评价指标等等 都做了较详细的介绍和总结。是个非常不错的综述，内容较全面且详细。
transformers库中的.from_pretrained()
Transformers库中的预训练模型加载函数.from_pretrained()
AI绘图之DDIM 与 DDPM
为了加速采样，我们提出了去噪扩散隐式模型 (DDIM)，这是一类更有效的迭代隐式概率模型，其训练过程与 DDPM 相同。在 DDPM 中，生成过程被定义为马尔可夫扩散过程的逆过程。我们凭经验证明，与 DDPM 相比，DDIM 可以在挂钟时间方面快 10 倍到 50 倍的速度生成高质量样本，允许我们权
BART模型简单介绍
对于序列分类任务（如文本情感分类），BART模型的编码器与解码器使用相同的输入，将解码器最终时刻的隐含层状态作为输入文本的向量表示，并输入至多类别线性分类器中，再利用该任务的标注数据精调模型参数。与BERT模型的 [CLS] 标记类似，BART模型在解码器的最后时刻额外添加一个特殊标记，并以该标记的
Huggingface的from pretrained的下载代理服务器方法设置
笔者需要用到下载预训练模型，但是此时TUNA和BSFU的镜像已经停止了，希望有可用的途径下载到位于网上的预训练模型。根据文档，该参数proxies (Dict, optional)在StackOverflow有类似解决方法。此时查找了huggingface的文档。即可代理http(s)流量。
注意力机制——ECANet（Efficient Channel Attention Network）
ECANet注意力机制是针对通道维度的注意力加权机制。它的基本思想是，通过学习通道之间的相关性，自适应地调整通道的权重，以提高网络的性能。ECANet通过两个步骤实现通道注意力加权： 1.提取通道特征 2.计算通道权重。）是一种新颖的注意力机制，用于深度神经网络中的
2023年发布的25个开源大型语言模型总结
本文总结了当前可用的开源llm的全部（几乎全部）列表，以及有关其许可选项和源代码存储库的信息，希望对你有所帮助
8种时间序列分类方法总结
在涵盖各种类型的时间序列 (TS) 分类方法之前，我们先统一时间序列的概念，TS 可以分为单变量或多变量 TS。单变量 TS 是一组有序的（通常）实数值。多变量 TS 是一组单变量 TS。每个时间戳都是一个向量或实数值数组。单或多元TS的数据集通常包含一个单或多元TS的有序集。此外，数据集通常包含由
PyTorch训练“WARNING:root:NaN or Inf found in input tensor”问题
PyTorch训练报“WARNING:root:NaN or Inf found in input tensor”警告，可能是tensorboardX使用中数据格式不符合规范。
如何调用GPU训练模型【详细教程1】——CUDA和cuDNN的安装
在进行深度学习模型训练时，可以使用CPU训练，但通常比较慢，也可以采用GPU进行加速训练，目前支持深度学习的显卡只有NIVDIA，AMD是不支持的，可以不用往下看了要使用GPU进行加速训练，要安装三个东西：CUDA、cuDNN、PyTorch。PyTorch大家都知道，是一个用于深度学习的开源库，当
【AI模型】AI模型部署概述
AI模型部署学习
简单理解TensorFloat32
细节持续补充
nvidia显卡驱动、cuda、cudnn、tensorflow对应版本
在nvidia官网下载驱动，驱动官网选择设备的驱动进行搜索下载即可，搜索时注意对应的操作系统一般为安装NVIDIA Studio驱动版本，GeForce Game Ready适用于游戏玩家，下面是两个版本区别的官方解释下载完的驱动会以版本号的形式命名，这个版本号在安装cuda时候会用到，以下是下载好
torch.normal()函数
torch.normal()函数：
YOLOFaceV2笔记
Yolo、YOLOFaceV2
LLM-Blender：大语言模型也可以进行集成学习
LLM-Blender是一个集成框架，可以通过利用多个开源大型语言模型(llm)的不同优势来获得始终如一的卓越性能。
【探索人工智能】我与讯飞星火认知大模型的对话
未来，人工智能技术将更加注重安全性和可靠性，通过不断的技术创新和完善来保障人们的信息安全和隐私保护。更广泛的应用场景：随着人工智能技术的不断进步和成熟，我们可以预见到它将会被广泛应用于各个行业和领域，如医疗保健、金融、教育、制造业等等。我们需要不断地探索和发展这项技术，以期实现更多的创新和突破，为人
yolov8s网络模型结构图
yolov8真的来了！U神出品的yolov8，虽然还没正式公布，但是已经放出代码了。代码有着很强烈的yolov5风格。学的速度还跟不上别人更新的速度，咋玩呀！先看看yolov8seg、det的炼丹。再看看map：：都快卷秃噜皮了。yolov8s已经达到了0.6ms了。先看看ONNX图：这个是带NMS
