压缩大型语言模型(LLMs):缩小10倍、性能保持不变
尽管LLMs的巨大规模使其在广泛的应用场景中表现卓越,但这也为其在实际问题中的应用带来了挑战。本文将探讨如何通过压缩LLMs来应对这些挑战。我们将介绍关键概念,然后通过具体的Python代码实例进行演示。
人工智能视觉深度学习yolov5的学习笔记
人工智能视觉深度学习yolov5的学习笔记
Vitis AI 进阶认知（量化过程详解）
在当今技术快速发展的时代，我们追求的不仅是智能设备的高性能，同时也强调其能效和便携性。Vitis AI量化器便是在这样的背景下应运而生的一个工具，它通过将神经网络模型的数据精度从32位浮点数降低到8位整数，极大地缩减了模型的体积和计算需求，而通过精心设计的校准和微调过程，又能确保模型的预测准确性基本
深度学习笔记
神经网络主要原理图：神经网络主要有两个函数：线性函数、激活函数。包含两个参数：M未知数的系数、b偏置数。在模型训练好之后：对应的inputs和outputs为输入和输出内容如：将英文内容输入输出翻译为中文。但在训练模型时需要同时将语义相近的中文和英文分别在inputs和outputs输入之后通过最上
深度学习系列-----＞环境搭建（Ubuntu）
电脑基础系统硬件情况：系统：ubuntu18.04、显卡：GTX1050Ti；后续的环境搭建都在此基础上进行。此次学习选择Pytorch作为深度学习的框架，选择的原因主要由于PyTorch 在研究领域特别受欢迎，较多的论文框架也是基于其开发。
生成式人工智能最重要的三个神经网络，从谷歌DeepDream、Magenta、到NVIDIA的StyleGAN
神经网络是生成式人工智能的基础，使机器能够生成模仿真实数据分布的新数据实例。
模型参数量与显存占用分析
由于反向传播、Adam优化和Transformer架构等因素，保守估计，训练所需的显存是模型参数所占显存的4倍（1x 为模型 、1x 为梯度、1~2x 为优化器）。为了确保训练期间模型收敛，参数类型一般不能是int8或int4。注1：使用AdamW优化器，显存需求为2x；使用SGD优化器，显存需求为
PyTorch数据处理：torch.utils.data模块的7个核心函数详解
本文将深入介绍PyTorch中 torch.utils.data 模块的7个核心函数,这些工具可以帮助你更好地管理和操作数据。
为什么要放弃LangChain：从生产力工具到阻碍
在AI开发工具的生态系统里，LangChain一直是一个备受争议的产品。一些开发者欣赏其丰富的工具、组件和易于集成的特点，另一些开发者则认为其复杂的抽象和嵌套抽象反而成为了开发的障碍。本文将结合Fabian Both的实际经验，详细探讨为什么他的团队最终决定放弃LangChain，以及如何开发大模型
MATLAB神经网络拟合工具的使用
使用MATLAB神经网络拟合工具箱的流程。
第五周周报：深度学习经典网络模型（三）
本周跟着李宏毅老师的课程，主要学习了生成式对抗网络中的无限制生成、去噪扩散概率模型、自监督学习中常用的预训练模型BERT和GPT，以及在目标领域中无标记数据时需要用到的迁移学习。本文将结合课程以及自身理解，介绍以上经典的神经网络模型。本周的学习到此结束，同时也完成了深度学习经典神经网络的基础理论学习
跟着李沐动手学深度学习（一）
本篇文章为李沐老师线性神经网络的学习笔记。使用Python编程语言及其强大的科学计算库（PyTorch）来实现线性回归模型。通过编写代码、运行实验和观察结果，我们将更加直观地理解线性回归模型的工作原理。
一文彻底搞懂大模型参数高效微调（PEFT）
最近这一两周看到不少互联网公司都已经开始秋招提前批了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。。更多实战和面试交流，加入我们。
7.2 Transformer：具有里程碑意义的新模型——自注意力模型
自此，不管是学术界，还是工业界均掀起了基于Transformer的预训练模型研究和应用的热潮，并且逐渐从NLP领域延伸到CV、语音等多项领域。Transformer模型是一个具有里程碑意义的模型，它的提出催生了众多基于Transformer网络结构的模型，特别是在2018年预训练模型BERT的提出，
大模型参数——详细介绍
大模型参数——详细介绍
Qwen2-1___5B-Instruct 推理
Union[List[Dict[str, str]], List[List[Dict[str, str]]]], 一个字典列表，其中每个字典包含 'role' 和 'content' 键，表示至今的对话记录。Optional[List[Dict[str, str]]] = None, 一个字典列表，
使用 Python TorchRL 进行多代理强化学习
本文将深入探讨如何使用 TorchRL 解决 MARL 问题,重点关注多代理环境中的近端策略优化(PPO)。
智能新时代：探索【人工智能】、【机器学习】与【深度学习】的前沿技术与应用
这篇文章深入探讨了人工智能、机器学习、深度学习、算法和计算机视觉的核心概念，并通过丰富的代码示例展示了这些技术在实际应用中的具体实现。通过理论与实践的结合，读者不仅能够理解这些复杂的技术概念，还能掌握在不同场景下如何有效地应用这些技术，进而为进一步的学习和研究奠定坚实的基础。
CUDA11.8+cudnn9.2.1 win10安装教程
由于目前NVIDIA官网已经将原来的使用压缩包安装cudnn修改为使用安装包安装，但是在网上搜索之后发现对于该问题的解决方案描述比较少，所以综合了一些以往教程，自己摸索出一套安装方法，供各位参考。一、安装包的下载CUDA下载在下载前大家需要在NVIDIA控制面板里查看本机显卡最高能够支持的CUDA版
揭秘LoRA：利用深度学习原理在Stable Diffusion中打造完美图像生成的秘密武器
LoRA作为一种创新的微调技术，通过低秩矩阵分解方法，实现了对大型生成模型的高效微调。在Stable Diffusion模型中，LoRA技术被广泛应用于角色、风格、概念、服装和物体等不同分类的图像生成中。通过结合多个同类型的LoRA模型，并利用AdditionNet调节权重，可以实现更为复杂和定制化
