目录
向量导数与矩阵导数是机器学习的数学基础，认真读完本文，相信你会有不少收获~
提及向量时，若无特殊说明，我们默认为列向量\textcolor{red}{提及向量时，若无特殊说明，我们默认为{\bf 列向量}}提及向量时，若无特殊说明，我们默认为列向量
一、分子布局与分母布局
我们知道，标量（Scalar）、向量（Vector）和矩阵（Matrix）它们三者满足如下关系：
标量⊂向量⊂矩阵标量 \subset 向量 \subset 矩阵标量⊂向量⊂矩阵
即向量可以理解为一种特殊的矩阵（列数为
111 的矩阵），标量可以理解为一种特殊的向量（维度为111 的向量），也可以理解为一个1×11\times 11×1 的矩阵，所以今天我们讨论的向量导数和矩阵导数可以统称为 “**矩阵导数**”.
常见的矩阵导数有以下六种：
标量对标量求导相信大家再熟悉不过了（
f′(x)f'(x)f′(x) 就是一个很典型的例子）， 这里我们不再讨论. 事实上我们还可以讨论矩阵与向量之间的导数，矩阵与矩阵之间的导数，即表格中空着的地方，但因为这些导数的结果涉及到维数大于222 的张量（tensor），我们无法再用矩阵的形式去表示，因此也不再讨论.
接下来我们会把重心放在剩余的五个矩阵导数上，即：
- 向量对标量求导
- 标量对向量求导
- 向量对向量求导
- 矩阵对标量求导
- 标量对矩阵求导
假设我们有
x=(x1,⋯,xn)T\boldsymbol{x}=(x_1,\cdots,x_n)^{\mathrm T}x=(x1,⋯,xn)T 和y=(y1,⋯,ym)T\boldsymbol{y}=(y_1,\cdots,y_m)^{\mathrm T}y=(y1,⋯,ym)T 两个向量，则∂y∂x\displaystyle \frac{\partial \boldsymbol{y}}{\partial \boldsymbol{x}}∂x∂y 共有mnmnmn 个分量：∂yi∂xj,i=1,⋯,mj=1,⋯,n\frac{\partial y_i}{\partial x_j},\quad i=1,\cdots,m\quad j=1,\cdots,n∂xj∂yi,i=1,⋯,mj=1,⋯,n
我们该如何去排列这
mnmnmn 个分量呢？这就要用到我们的**分子布局**（Numerator Layout）和**分母布局**（Denominator Layout）了. 所谓布局，无非就是对上面结果的一种排列，若不对排列方式加以规定，则很有可能导致数学运算过程中出现错误（例如因矩阵维数原因导致不能相乘）.
在谈向量导数时，我们有两个很重要的前提：
① 分子和分母都是向量，且其中一个是行向量，另外一个是列向量
② 分子和分母其中一个是标量，另外一个是行/列向量
当 ① 或 ② 满足时，我们接下来的讨论才有意义.
我们先看 ①：
- 若分母是列向量，分子是行向量，则称之为分母布局
- 若分子是列向量，分母是行向量，则称之为分子布局
用一句话概括就是：谁是列向量就是什么布局.
对于 ②，我们可以依然采用 “谁是列向量就是什么布局” 来判断，但如果分子分母都不是列向量时，该如何判断呢？
这种情形下也是一句话概括：谁是标量就是什么布局.
我们可以将这些讨论汇总在下表中：
对于矩阵导数，情况就有些不一样了：
此外，我们还有以下重要等式：
分子布局的结果=分母布局的结果T,分母布局的结果=分子布局的结果T分子布局的结果=分母布局的结果^{\mathrm{T}},\qquad 分母布局的结果=分子布局的结果^{\mathrm{T}}分子布局的结果=分母布局的结果T,分母布局的结果=分子布局的结果T
以上所有结果都可以汇总成下面三张图：
更为直观的表示：
接下来我们的讨论都将基于分子布局.
二、向量导数
2.1 向量对标量求导
向量对标量求导的一些法则：
2.2 标量对向量求导
标量对向量求导的一些法则：
标量对向量求导的一些重要结论：
∂a∂x=0T(2.2.A)\frac{\partial a }{\partial \boldsymbol x}={\bf 0}^{\mathrm T}\tag{2.2.A}∂x∂a=0T(2.2.A)∂aTx∂x=∂xTa∂x=aT(2.2.B)\frac{\partial \boldsymbol a^{\mathrm T}\boldsymbol x }{\partial \boldsymbol x}=\frac{\partial \boldsymbol x^{\mathrm T}\boldsymbol a }{\partial \boldsymbol x}=\boldsymbol a^{\mathrm T} \tag{2.2.B}∂x∂aTx=∂x∂xTa=aT(2.2.B)∂xTx∂x=2xT(2.2.C)\frac{\partial \boldsymbol x^{\mathrm T}\boldsymbol x }{\partial \boldsymbol x}=2\boldsymbol x^{\mathrm T} \tag{2.2.C}∂x∂xTx=2xT(2.2.C)∂xTAx∂x=xT(A+AT)(2.2.D)\frac{\partial \boldsymbol x^{\mathrm T}{\bf A}\boldsymbol x }{\partial \boldsymbol x}=\boldsymbol x^{\mathrm T}({\bf A}+{\bf A}^{\mathrm T}) \tag{2.2.D}∂x∂xTAx=xT(A+AT)(2.2.D)
2.3 向量对向量求导
向量对向量求导的一些法则：
向量对向量求导的一些重要结论：
∂a∂x=O(2.3.A)\frac{\partial \boldsymbol a }{\partial \boldsymbol x}={\bf O}\tag{2.3.A}∂x∂a=O(2.3.A)∂x∂x=I(2.3.B)\frac{\partial \boldsymbol x }{\partial \boldsymbol x}={\bf I}\tag{2.3.B}∂x∂x=I(2.3.B)∂Ax∂x=A(2.3.C)\frac{\partial {\bf A}\boldsymbol x }{\partial \boldsymbol x}={\bf A}\tag{2.3.C}∂x∂Ax=A(2.3.C)
三、矩阵导数
3.1 矩阵对标量求导
矩阵对标量求导的一些法则：
3.2 标量对矩阵求导
标量对矩阵求导的一些法则：
标量对矩阵求导的一些重要结论：
∂a∂X=O(3.2.A)\frac{\partial a }{\partial {\bf X}}={\bf O}\tag{3.2.A}∂X∂a=O(3.2.A)∂aTXb∂X=baT(3.2.B)\frac{\partial \boldsymbol a^{\mathrm T}{\bf X}\boldsymbol b }{\partial {\bf X}}=\boldsymbol{ba}^{\mathrm T}\tag{3.2.B}∂X∂aTXb=baT(3.2.B)∂aTXTb∂X=abT(3.2.C)\frac{\partial \boldsymbol a^{\mathrm T}{\bf X}^{\mathrm T}\boldsymbol b }{\partial {\bf X}}=\boldsymbol{ab}^{\mathrm T}\tag{3.2.C}∂X∂aTXTb=abT(3.2.C)
此外，我们经常会遇到迹对矩阵求导的情形，相关结论如下：
∂tr(X)∂X=I(3.2.D)\frac{\partial \mathrm{tr}({\bf X})}{\partial {\bf X}}={\bf I}\tag{3.2.D}∂X∂tr(X)=I(3.2.D)∂tr(Xk)∂X=kXk−1(3.2.E)\frac{\partial \mathrm{tr}({\bf X}^{k})}{\partial {\bf X}}=k{\bf X}^{k-1}\tag{3.2.E}∂X∂tr(Xk)=kXk−1(3.2.E)∂tr(AX)∂X=∂tr(XA)∂X=A(3.2.F)\frac{\partial \mathrm{tr}({\bf AX})}{\partial {\bf X}}=\frac{\partial \mathrm{tr}({\bf XA})}{\partial {\bf X}}={\bf A}\tag{3.2.F}∂X∂tr(AX)=∂X∂tr(XA)=A(3.2.F)∂tr(AXT)∂X=∂tr(XTA)∂X=AT(3.2.G)\frac{\partial \mathrm{tr}({\bf AX}^{\mathrm T})}{\partial {\bf X}}=\frac{\partial \mathrm{tr}({\bf X}^{\mathrm T}{\bf A})}{\partial {\bf X}}={\bf A}^{\mathrm T}\tag{3.2.G}∂X∂tr(AXT)=∂X∂tr(XTA)=AT(3.2.G)∂tr(XTAX)∂X=XT(A+AT)(3.2.H)\frac{\partial \mathrm{tr}({\bf X}^{\mathrm T}{\bf AX})}{\partial {\bf X}}={\bf X}^{\mathrm T}({\bf A}+{\bf A}^{\mathrm T})\tag{3.2.H}∂X∂tr(XTAX)=XT(A+AT)(3.2.H)∂tr(X−1A)∂X=−X−1AX−1(3.2.I)\frac{\partial \mathrm{tr}({\bf X}^{-1}{\bf A})}{\partial {\bf X}}=-{\bf X}^{-1}{\bf AX}^{-1}\tag{3.2.I}∂X∂tr(X−1A)=−X−1AX−1(3.2.I)∂tr(AXB)∂X=∂tr(BAX)∂X=BA(3.2.J)\frac{\partial \mathrm{tr}({\bf AXB})}{\partial {\bf X}}=\frac{\partial \mathrm{tr}({\bf BAX})}{\partial {\bf X}}={\bf BA}\tag{3.2.J}∂X∂tr(AXB)=∂X∂tr(BAX)=BA(3.2.J)∂tr(AXBXTC)∂X=BXTCA+BTXTATCT(3.2.K)\frac{\partial \mathrm{tr}({\bf AXBX}^{\mathrm T}{\bf C})}{\partial {\bf X}}={\bf BX}^{\mathrm T}{\bf CA}+{\bf B}^{\mathrm T}{\bf X}^{\mathrm T}{\bf A}^{\mathrm T}{\bf C}^{\mathrm T} \tag{3.2.K}∂X∂tr(AXBXTC)=BXTCA+BTXTATCT(3.2.K)
参考
[1] https://zhuanlan.zhihu.com/p/263777564
[2] https://www.zhihu.com/question/352174717
[3] https://cloud.tencent.com/developer/article/1551901
[4] https://en.wikipedia.org/wiki/Matrix_calculus
[5] https://www.comp.nus.edu.sg/~cs5240/lecture/matrix-diff.pdf
本文转载自: https://blog.csdn.net/weixin_44022472/article/details/122737908
版权归原作者 serity 所有， 如有侵权，请联系我们删除。
版权归原作者 serity 所有， 如有侵权，请联系我们删除。