模型训练时使用的 model.train() 和模型测试时使用的 model.eval()

在 PyTorch 中，模型训练时使用的

model.train()

和模型测试时使用的

model.eval()

分别用于开启和关闭模型的训练模式和测试模式。

• model.train() 会将模型设置为训练模式，启用 Dropout 和 Batch Normalization 等训练时特有的操作。这种模式适用于训练阶段，由于 Dropout 在每次迭代时随机关闭神经元，因此可以减少神经元之间的相互依赖，使得模型泛化能力更强。另外，Batch Normalization 可以将输入数据规范化，减弱各个特征之间的相互影响，加快模型收敛速度。
• model.eval() 会将模型设置为测试模式，关闭 Dropout 和 Batch Normalization 等训练时特有的操作。这种模式适用于测试阶段，在测试阶段，我们通常关注的是模型的输出结果，而不是模型内部的 Dropout 或 Batch Normalization 操作。因此，在测试阶段，我们需要关闭这些操作，并进行模型的前向计算和输出。

在实际应用中，我们通常需要在模型训练和测试过程中动态地切换模式。例如，在训练过程中，我们需要使用

model.train()

开启训练模式，并开启一些训练特有的操作；而在测试过程中，我们需要使用

model.eval()

开启测试模式，并关闭一些训练特有的操作，以获得更准确的测试结果。

在使用

model.eval()

时，还需要注意以下几点：

1. model.eval() 是一个原地操作，不会返回任何值，只是改变了模型的状态。
2. 当使用 model.eval() 时，模型中的参数和缓存都将不再发生变化，这可以防止在测试过程中不必要的计算和内存消耗。
3. 在评估模型时，通常需要将 Batch Normalization 层中的均值和方差设置为固定值，以确保测试数据和训练数据的统计特征相同。此时，我们可以使用 torch.no_grad() 上下文管理器，并将 model.eval() 和 torch.no_grad() 一起使用。

例如：

with torch.no_grad():
    model.eval()
    for inputs, labels in test_loader:
        outputs = model(inputs)
        ...

这里使用

with torch.no_grad()

上下文管理器包含了整个测试过程，同时使用

model.eval()

将模型设置为测试模式。这样，我们就可以在测试过程中关闭梯度计算和 Batch Normalization 的运算，并保证测试数据和训练数据的统计特征相同。