梯度下降【无约束最优化问题】
本文属于 线性回归算法【AIoT阶段三】（尚未更新），这里截取自其中一段内容，方便读者理解和根据需求快速阅读。本文通过公式推导+代码两个方面同时进行，因为涉及到代码的编译运行，如果你没有 NumPyNumPy，PandasPandas，MatplotlibMatplotlib 的基础，建议先修文章：
使用特征传播重构缺失数据进行图机器学习
本文种展示的特征传播是一种用于处理图机器学习应用程序中缺失的特征的有效且可扩展的方法。它很简单，但效果出奇地好。
时间序列数据的预处理
在本文中，我们将看到在深入研究数据建模部分之前应执行的常见时间序列预处理步骤和与时间序列数据相关的常见问题。
NumPy快速入门（四）——随机抽样与通用函数
目录一、随机抽样（np.random模块）1.1 np.random.random()1.2 np.random.uniform()1.3 np.random.randn()1.4 np.random.randint()1.5 np.random.rand()1.6 np.random.normal
机器学习分类算法之Logistic 回归（逻辑回归）
目录什么是逻辑回归？Sigmoid 函数似然函数梯度下降判定边界损失函数逻辑回归优点逻辑回归缺点代码实现Logistic Regression参数详解正则化选择参数：penalty优化算法选择参数：solver其他参数代码案例结果显示每文一语什么是逻辑回归？逻辑回归算法是用来解决分类问题的。回归与分
8个可以提高数据科学工作效率、节省宝贵时间的Python库
在进行数据科学时，可能会浪费大量时间编码并等待计算机运行某些东西。所以我选择了一些 Python 库，可以帮助你节省宝贵的时间。
线性回归的基本概念以及正规方程
本文属于线性回归算法【AIoT阶段三】（尚未更新），这里截取自其中一段内容，线性回归是机器学习中有监督机器学习下的一种算法。 回归问题主要关注的是因变量(需要预测的值，可以是一个也可以是多个)和一个或多个数值型的自变量(预测变量)之间的关系。需要预测的值:即目标变量，target，y，连续值预测变量
各种距离概念与计算公式
对各种常用的距离的概念和计算公式的汇总整理
为什么交叉熵和KL散度在作为损失函数时是近似相等的
在本文中，我们将介绍熵、交叉熵和 Kullback-Leibler Divergence [2] 的概念，并了解如何将它们近似为相等。
机器学习分类算法之支持向量机
目录支持向量机算法背景介绍什么是线性可分？什么又是超平面？支持向量机的三种情况近线性可分线性不可分不用核函数的传统方法核函数Kernel是什么？核函数SVM求解过程核函数的本质代码实例模型调参gamma调参C值调参使用Polynomial kernel进行预测使用RBF kernel进行预测总结每文
3-导数（梯度/GradientTape）
本节主要介绍梯度或者导数如何计算
牛津大学出品：随机噪声对抗训练
Eη[∥δN−FGSM∥22]=Eη∥η+α⋅sign(∇xℓ(f(x+η),y))∥22=E[∑i=1d(ηi+α⋅sign(∇(η)i))2]=∑i=1dEη[(ηi+α⋅sign(∇(η)i))2]=∑i=1dEη[(ηi+α⋅sign(∇(η)i))2∣sign(∇(η)i)=1]⋅Pη[s
Jensen不等式
引言 概率不等式是概率论和数理统计的理论研究中的重要工具，对于概率极限理论和统计大样本理论，几乎所有重要结果的论证是借助于概率不等式的巧妙应用，Jensen\mathrm{Jensen}Jensen不等式和证明，并应用其带来解决一些相关问题。Jensen\mathrm{Jensen}Jensen不等
Github上10个数据科学和机器学习知识库
在本文中将介绍一些对数据科学和机器学习爱好者最有用的 Github 代码库。（排名顺序不分先后）
【万字详解·附代码】机器学习分类算法之K近邻（KNN）
目录什么是K近邻算法？关于空间的一些基本概念几何空间的五条公理向量关于距离的一些基本概念欧氏距离（Euclidean distance）曼哈顿距离(Manhattan Distance)切比雪夫距离 (Chebyshev Distance)闵可夫斯基距离(Minkowski Distance)杰卡德
2022 年 2 月 arXiv 论文推荐
本篇文章选择了 10 篇论文，这些论文展示了各种 AI 子领域的关键发展：自动强化学习 (AutoRL)、多模态语言模型 (LM)、计算机视觉 (CV) 中的ConvNets vs Transformers 、无监督神经信息 检索 (IR) 等。
使用时间特征使让机器学习模型更好地工作
在本文中，我将通过一个实际示例讨论如何从 DateTime 变量中提取新特征以提高机器学习模型的准确性。
K-means与DBSCAN聚类算法
K-means聚类算法与DBSCAN算法是聚类问题中的典型算法，本文通过流程图、Spss、以及伪代码等形式做一个分享，希望读者更好地了解这两种算法
一文详解向量导数与矩阵导数
目录一、向量对标量求导（标量对向量求导）二、矩阵对标量求导（标量对矩阵求导）三、乘法法则（Product Rule）3.1 逆矩阵的导数（逆矩阵对标量求导）四、矩阵的迹对矩阵求导4.1 一些推论一、向量对标量求导（标量对向量求导）设 a=(a1,a2,⋯ ,an)\boldsymbol{a}=(a_
【Matplotlib】pyplot的高级功能
添加图例与注释给图形添加图例代码import numpy as npimport matplotlib.pyplot as pltnbSamples = 128x = np.linspace(-np.pi, np.pi, nbSamples)y1 = np.sin(x)y2 = np.cos(x)p
