【torch.nn.Parameter 】参数相关的介绍和使用

文章目录

torch.nn.Parameter

基本介绍

torch.nn.Parameter

是继承自

torch.Tensor

的子类，其主要作用是作为

nn.Module

中的可训练参数使用。它与

torch.Tensor

的区别就是

nn.Parameter

会自动被认为是

module

的可训练参数，即加入到

parameter()

这个迭代器中去。

具体格式如下：

torch.nn.parameter.Parameter(data=None, requires_grad=True)

其中

data

为待传入的

Tensor

，

requires_grad

默认为 True。

事实上，

torch.nn

中提供的模块中的参数均是

nn.Parameter

类，例如：

module = nn.Linear(3,3)type(module.weight)# torch.nn.parameter.Parametertype(module.bias)# torch.nn.parameter.Parameter

参数构造

nn.Parameter

可以看作是一个类型转换函数，将一个不可训练的类型

Tensor

转换成可以训练的类型

parameter

，并将这个

parameter

绑定到这个

module

里面

nn.Parameter()

添加的参数会被添加到

Parameters

列表中，会被送入优化器中随训练一起学习更新

此时调用

parameters()

方法会显示参数。读者可自行体会以下两端代码：

""" 代码片段一 """classNet(nn.Module):def__init__(self):super().__init__()
        self.weight = torch.randn(3,3)
        self.bias = torch.randn(3)defforward(self, inputs):pass

net = Net()print(list(net.parameters()))# []""" 代码片段二 """classNet(nn.Module):def__init__(self):super().__init__()
        self.weight =**nn.Parameter**(torch.randn(3,3))# 将tensor转换成parameter类型
        self.bias =**nn.Parameter**(torch.randn(3))defforward(self, inputs):pass

net = Net()print(list(**net.parameters()**))# 显示参数# [Parameter containing:# tensor([[-0.4584,  0.3815, -0.4522],#         [ 2.1236,  0.7928, -0.7095],#         [-1.4921, -0.5689, -0.2342]], requires_grad=True), Parameter containing:# tensor([-0.6971, -0.7651,  0.7897], requires_grad=True)]

nn.Parameter

相当于把传入的数据包装成一个参数，如果要直接访问/使用其中的数据而非参数本身，可对

nn.Parameter

对象**调用

data

属性**：

a = torch.tensor([1,2,3]).to(torch.float32)
param = nn.Parameter(a)print(param)# Parameter containing:# tensor([1., 2., 3.], requires_grad=True)print(param.data)# tensor([1., 2., 3.])

参数访问

nn.Module 中有

**state_dict()**

方法，该方法将以字典形式返回模块的所有状态，包括模块的参数和

persistent buffers

，字典的键就是对应的参数/缓冲区的名称。

由于所有模块都继承

nn.Module

，因此我们可以对任意的模块调用

state_dict()

方法以查看状态：

linear_layer = nn.Linear(2,2)print(linear_layer.state_dict())# OrderedDict([('weight', tensor([[ 0.2602, -0.2318],#         [-0.5192,  0.0130]])), ('bias', tensor([0.5890, 0.2476]))])print(linear_layer.state_dict().keys())# odict_keys(['weight', 'bias'])

对于线性层，除了

state_dict()

之外，我们还可以对其直接调用相应的属性，如下：

linear_layer = nn.Linear(2,1)print(linear_layer.weight)# Parameter containing:# tensor([[-0.1990,  0.3394]], requires_grad=True)print(linear_layer.bias)# Parameter containing:# tensor([0.2697], requires_grad=True)

需要注意的是以上返回的均为参数对象，如需使用其中的数据，可调用

data

属性。

参数初始化

使用内置初始化

对于下面的单隐层网络，我们想对其中的两个线性层应用内置初始化器

classNet(nn.Module):def__init__(self):super().__init__()
        self.layers = nn.Sequential(
            nn.Linear(3,2),
            nn.ReLU(),
            nn.Linear(2,3),)defforward(self, X):return self.layers(X)

假设权重从

N(0,1)

中采样，偏置全部初始化为

，则初始化代码如下:

definit_normal(module):# 需要判断子模块是否为nn.Linear类，因为激活函数没有参数iftype(module)== nn.Linear:
        nn.init.normal_(module.weight, mean=0, std=1)
        nn.init.zeros_(module.bias)

net = Net()
net.apply(init_normal)for param in net.parameters():print(param)# Parameter containing:# tensor([[-0.3560,  0.8078, -2.4084],#         [ 0.1700, -0.3217, -1.3320]], requires_grad=True)# Parameter containing:# tensor([0., 0.], requires_grad=True)# Parameter containing:# tensor([[-0.8025, -1.0695],#         [-1.7031, -0.3068],#         [-0.3499,  0.4263]], requires_grad=True)# Parameter containing:# tensor([0., 0., 0.], requires_grad=True)

对

net

调用

apply

方法则会递归地对其下所有的子模块应用

init_normal

函数。

自定义初始化

如果我们想要自定义初始化，例如使用以下的分布来初始化网络的权重：

defmy_init(module):iftype(module)== nn.Linear:
        nn.init.uniform_(module.weight,-10,10)
        mask = module.weight.data.abs()>=5
        module.weight.data *= mask

net = Net()
net.apply(my_init)for param in net.parameters():print(param)# Parameter containing:# tensor([[-0.0000, -5.9610,  8.0000],#         [-0.0000, -0.0000,  7.6041]], requires_grad=True)# Parameter containing:# tensor([ 0.4058, -0.2891], requires_grad=True)# Parameter containing:# tensor([[ 0.0000, -0.0000],#         [-6.9569, -9.5102],#         [-9.0270, -0.0000]], requires_grad=True)# Parameter containing:# tensor([ 0.2521, -0.1500, -0.1484], requires_grad=True)

参数绑定

对于一个三隐层网络：

net = nn.Sequential(nn.Linear(4,8), nn.ReLU(),
                    nn.Linear(8,8), nn.ReLU(),
                    nn.Linear(8,8), nn.ReLU(),
                    nn.Linear(8,1))

如果我们想让第二个隐层和第三个隐层共享参数，则可以这样做：

shared = nn.Linear(8,8)
net = nn.Sequential(nn.Linear(4,8), nn.ReLU(),
                    shared, nn.ReLU(),
                    shared, nn.ReLU(),
                    nn.Linear(8,1))

参考

PyTorch学习笔记（六）–Sequential类、参数管理与GPU_Lareges的博客-CSDN博客_sequential类

torch.nn 中文文档

Python的torch.nn.Parameter初始化方法_昊大侠的博客-CSDN博客_torch.nn.parameter初始化

标签： python 深度学习人工智能

本文转载自: https://blog.csdn.net/zyw2002/article/details/128170764
版权归原作者 zyw2002 所有，如有侵权，请联系我们删除。

【torch.nn.Parameter 】参数相关的介绍和使用

文章目录