2025年深入理解PyTorch中的train()、eval()和no_grad()

大家好，我是讯享网，很高兴认识大家。

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️
👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）👈

PyTorch中的train()、eval()和no_grad()
讯享网

（封面图由文心一格生成）

深入理解PyTorch中的train()、eval()和no_grad()

在PyTorch中，train()、eval()和no_grad()是三个非常重要的函数，用于在训练和评估神经网络时进行不同的操作。在本文中，我们将深入了解这三个函数的区别与联系，并结合代码进行讲解。

什么是train()函数？

在PyTorch中，train()方法是用于在训练神经网络时启用dropout、batch normalization和其他特定于训练的操作的函数。这个方法会通知模型进行反向传播，并更新模型的权重和偏差。

在训练期间，我们通常会对模型的参数进行调整，以使其更好地拟合训练数据。而dropout和batch normalization层的行为可能会有所不同，因此在训练期间需要启用它们。

下面是一个使用train()方法的示例代码：

import torch import torch.nn as nn import torch.optim as optim class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.fc1 = nn.Linear(10, 5) self.fc2 = nn.Linear(5, 2) def forward(self, x): x = torch.relu(self.fc1(x)) x = self.fc2(x) return x model = MyModel() optimizer = optim.SGD(model.parameters(), lr=0.1) criterion = nn.CrossEntropyLoss() for epoch in range(num_epochs): model.train() optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) loss.backward() optimizer.step()

讯享网

在上面的代码中，我们首先定义了一个简单的神经网络模型MyModel，它包含两个全连接层。然后我们定义了一个优化器和损失函数，用于训练模型。

在训练循环中，我们首先使用train()方法启用dropout和batch normalization层，然后计算模型的输出和损失，进行反向传播，并使用优化器更新模型的权重和偏差。

什么是eval()函数？

eval()方法是用于在评估模型性能时禁用dropout和batch normalization的函数。它还可以用于在测试数据上进行推理。这个方法不会更新模型的权重和偏差。

在评估期间，我们通常只需要使用模型来生成预测结果，而不需要进行参数调整。因此，在评估期间应该禁用dropout和batch normalization，以确保模型的行为是一致的。

下面是一个使用eval()方法的示例代码：

讯享网for epoch in range(num_epochs): model.eval() with torch.no_grad(): outputs = model(inputs) loss = criterion(outputs, targets)

什么是no_grad()函数？

no_grad()方法是用于在评估模型性能时禁用autograd引擎的梯度计算的函数。这是因为在评估过程中，我们通常不需要计算梯度。因此，使用no_grad()方法可以提高代码的运行效率。

在PyTorch中，所有的张量都可以被视为计算图中的节点，每个节点都有一个梯度，用于计算反向传播。no_grad()方法可以用于禁止梯度计算，从而节省内存和计算资源。

下面是一个使用no_grad()方法的示例代码：

with torch.no_grad(): outputs = model(inputs) loss = criterion(outputs, targets)

在上面的代码中，我们使用no_grad()方法禁止梯度计算，并计算模型的输出和损失。

train()、eval()和no_grad()函数的联系

三个函数之间的联系非常紧密，因为它们都涉及到模型的训练和评估。在训练期间，我们需要启用dropout和batch normalization，以便更好地拟合训练数据，并使用autograd引擎计算梯度。在评估期间，我们需要禁用dropout和batch normalization，以确保模型的行为是一致的，并使用no_grad()方法禁止梯度计算。

下面是一个完整的示例代码，展示了如何使用train()、eval()和no_grad()函数来训练和评估一个简单的神经网络模型：

讯享网import torch import torch.nn as nn import torch.optim as optim class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.fc1 = nn.Linear(10, 5) self.fc2 = nn.Linear(5, 2) def forward(self, x): x = torch.relu(self.fc1(x)) x = self.fc2(x) return x model = MyModel() optimizer = optim.SGD(model.parameters(), lr=0.1) criterion = nn.CrossEntropyLoss() # 训练模型 model.train() for epoch in range(num_epochs): optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) loss.backward() optimizer.step() # 评估模型 model.eval() with torch.no_grad(): outputs = model(inputs) loss = criterion(outputs, targets)

在上面的代码中，我们首先定义了一个简单的神经网络模型MyModel，然后定义了一个优化器和损失函数，用于训练和评估模型。

在训练循环中，我们首先使用train()方法启用dropout和batch normalization层，并进行反向传播和优化器更新。在评估循环中，我们使用eval()方法禁用dropout和batch normalization层，并使用no_grad()方法禁止梯度计算，计算模型的输出和损失。

总结

在本文中，我们介绍了PyTorch中的train()、eval()和no_grad()函数，并深入了解了它们的区别与联系。在训练神经网络模型时，我们需要使用train()函数启用dropout和batch normalization，并使用autograd引擎计算梯度。在评估模型性能时，我们需要使用eval()函数禁用dropout和batch normalization，并使用no_grad()函数禁止梯度计算，以提高代码的运行效率。这三个函数是PyTorch中非常重要的函数，熟练掌握它们对于训练和评估神经网络模型非常有帮助。