【AI】深度学习——前馈神经网络——全连接前馈神经网络
全连接前馈神经网络可以抽象为信息传播公式，其理论依据为通用近似定理，与机器学习结合可以解决分类问题，对交叉熵损失函数使用梯度下降算法求参数矩阵求导在nndl中以分母布局为主，以链式法则为计算依据，但同时也可采用更为高效的计算方法反向传播算法：第l层的误差项可以通过第 l+1 层的误差项计算得到，前向
使用FP8加速PyTorch训练的两种方法总结
在PyTorch中，FP8（8-bit 浮点数）是一个较新的数据类型，用于实现高效的神经网络训练和推理。它主要被设计来降低模型运行时的内存占用，并加快计算速度
【嵌入式AI开发】轻量化卷积神经网络MobileNetV3详解
本文对MobileNetv3网络结构进行详细的讲解。1.更新Block(bneck)，也就是逆残差结构上的简单改动。2.使用NAS搜索参数(Neural Architecture Search)。3.重新设计耗时层结构，（对网络的每一层的推理时间进行分析，针对某些耗时的层结构做进一步优化）。4.重新
【嵌入式AI开发】轻量级卷积神经网络MobileNetV2详解
MobileNetV2网络先升维后降维，在降维时使用线性激活函数，带残差的Inverted bottleck模块，防止ReLU信息丢失。在图像分类、目标检测、语义分割等任务上实现了网络轻量化、速度和准确度的权衡。
条件生成对抗网络（cGAN）在AI去衣技术中的应用探索
生成器G根据随机噪声和条件变量生成去衣后的图像，而判别器D则判断生成的图像是否真实且符合指定的条件。在训练过程中，生成器和判别器通过竞争和合作的方式，共同优化一个损失函数，使得生成的图像既真实又符合给定的条件。随着深度学习技术的飞速发展，生成对抗网络（GAN）作为其中的一个重要分支，在图像生成、图像
【嵌入式AI开发】轻量级卷积神经网络MobileNetV1详解
本文对轻量级卷积神经网络MobileNetV1网络进行详解。MobileNetV1网络就是由若干个深度可分离卷积模块堆叠起来的，深度可分离卷积由DW卷积核PW卷积构成。
第二篇【AI与传奇开心果系列】Python的AI技术点库案例示例:详解AI工业应用算法原理
AI与传奇开心果系列博文系列博文目录Python的AI技术点库案例示例系列博文目录前言一、AI工业应用算法原理介绍二、机器学习在工业领域的应用算法示例代码三、深度学习算法在工业领域应用示例代码四、强化学习在工业领域应用示例代码五、自然语言处理在工业领域应用示例代码六、图像处理算法在工业领域应用示例代
论文推荐：用多词元预测法提高模型效率与速度
作者们提出了一种创新的多词元预测方法，该方法在提高大型语言模型（LLMs）的样本效率和推理速度方面展示了显著优势。
号称能打败MLP的KAN到底行不行？数学核心原理全面解析
这篇文章将涉及大量的数学知识，主要介绍KAN背后的数学原理。
PyTorch小技巧：使用Hook可视化网络层激活（各层输出）
这篇文章将演示如何可视化PyTorch激活层。可视化激活，即模型内各层的输出，对于理解深度神经网络如何处理视觉信息至关重要，这有助于诊断模型行为并激发改进。
【技能---ubuntu20.04更换国内镜像源】
安装好ubuntu20.04后，在下载软件等安装包的时候，速度特别的慢，为此就想着更换一下镜像源，以此来增加下载的速度！！！下面是换源的具体流程!!!提示：以下是本篇文章正文内容，下面案例可供参考以上到这里就更换完软件源了，如有不足之处，请大家斧正！！！
存内计算为AI大模型提供的支持以及挑战
存内计算技术作为一种新型的计算范式，将存储器与处理器紧密地集成在一起，实现了数据的高效处理和低延迟访问。这种技术有效地缓解了传统计算模式下存储器与处理器之间的带宽瓶颈问题，为大规模数据处理和人工智能应用提供了更高效的计算支持。存内计算技术的核心思想是在存储器中实现简单的计算操作，以降低数据传输的功耗
归一化技术比较研究：Batch Norm, Layer Norm, Group Norm
本文将使用合成数据集对三种归一化技术进行比较，并在每种配置下分别训练模型。记录训练损失，并比较模型的性能。
《生物识别技术：面对安全挑战的绝佳选择？》
在图像分类任务中，ResNet展现了出色的性能。智能推荐系统：神经网络在智能推荐系统中发挥着重要作用，通过学习用户的行为数据和物品的特征，实现个性化的推荐。未来，神经网络算法将不仅仅注重模型的准确性，还会注重模型的可解释性，为人们提供更加可信赖的人工智能应用。正则化：正则化是一种防止过拟合的方法，通
Quiet-STaR:让语言模型在“说话”前思考
本文将介绍一篇3月的论文Quiet-STaR：这是一种新的方法，通过鼓励LLM发展一种“内心独白”的形式来解决这一限制，这种基本原理生成有助于LLM通过完成任务或回答问题所涉及的步骤进行推理，最终获得更准确和结构良好的输出。
【AI】2024 年 AI 辅助研发趋势（详）
随着人工智能技术的不断发展，AI辅助研发在各行业中扮演着越来越重要的角色。本文将深入探讨2024年AI辅助研发的趋势，并分析其对科技创新和产业发展的影响。加强AI人才培养，提供实践机会，培养解决实际问题的能力。AI辅助设计系统在车辆结构优化、自动驾驶技术开发中起到关键作用，提高了车辆的性能和安全性。
从 人工智能学派 视角来看 人工智能算法
人工智能算法太多了，它们杂乱无章，我该怎么学？也许你得追根溯源到学派思想，把握其中的根本
爆肝3W多字，100多张配图！深度学习从小白到精通一篇博文帮你打开人工智能的大门建议收藏不容错过！！！
在介绍深度学习之前，我们先看下这幅图：人工智能>机器学习>深度学习。深度学习是机器学习的⼀个子集，也就是说深度学习是实现机器学习的一种方法。与机器学习算法的主要区别如下图所示：传统机器学习算术依赖人工设计特征，并进行特征提取，而深度学习方法不需要人工，而是依赖算法自动提取特征，这也是深度学习被看做黑
【人工智能图像补全复现】基于GAN的图像补全
本文解析和实现论文Globally and Locally Consistent Image Completion中的相关方法。论文亮点在于使用全局（整张图片）和局部（缺失补全部分）两种鉴别器来训练，并运用GAN使生成图像在各个尺度的特征与真实图像匹配。关键词：GAN；图像补全；多种鉴别器训练。
【人工智能Ⅱ】实验1：卷积神经网络应用
由上图可知，经过30次训练迭代后，蓝色部分的训练损失值曲线和橘色部分的测试损失值曲线整体均呈现下降趋势，且训练损失值的下降速度快于验证损失值的下降速度。由上图可知，经过30次训练迭代后，蓝色部分的训练准确率曲线和橘色部分的测试准确率曲线整体均呈现上升趋势，且训练准确率的上升速度快于验证准确率的上升速
