PyTorch：用于训练和测试/验证的不同前向方法

我目前正在尝试延长a model https://github.com/microsoft/MASS这是基于 FairSeq/PyTorch 的。在训练过程中，我需要训练两个编码器：一个使用目标样本，另一个使用源样本。

所以当前的forward函数看起来像这样：

def forward(self, src_tokens=None, src_lengths=None, prev_output_tokens=None, **kwargs):
    encoder_out = self.encoder(src_tokens, src_lengths=src_lengths, **kwargs)
    decoder_out = self.decoder(prev_output_tokens, encoder_out=encoder_out, **kwargs)
    return decoder_out

并以此为基础这个想法 https://github.com/golsun/SpaceFusion我想要这样的东西：

def forward_test(self, src_tokens=None, src_lengths=None, prev_output_tokens=None, **kwargs):
    encoder_out = self.encoder(src_tokens, src_lengths=src_lengths, **kwargs)
    decoder_out = self.decoder(prev_output_tokens, encoder_out=encoder_out, **kwargs)
    return decoder_out

def forward_train(self, src_tokens=None, src_lengths=None, prev_output_tokens=None, **kwargs):
    encoder_out = self.encoder(src_tokens, src_lengths=src_lengths, **kwargs)
    autoencoder_out = self.encoder(tgt_tokens, src_lengths=src_lengths, **kwargs)
    concat = some_concatination_func(encoder_out, autoencoder_out)
    decoder_out = self.decoder(prev_output_tokens, encoder_out=concat, **kwargs)
    return decoder_out

有什么办法可以做到这一点吗？

编辑： 这些是我所面临的限制，因为我需要扩展FairseqEncoderDecoder模型:

@register_model('transformer_mass')
class TransformerMASSModel(FairseqEncoderDecoderModel):
    def __init__(self, encoder, decoder):
        super().__init__(encoder, decoder) 

编辑2： 传递给 Fairseq 中的前向函数的参数可以通过实现您自己的标准来更改，请参见示例交叉熵准则 https://github.com/pytorch/fairseq/blob/master/fairseq/criterions/cross_entropy.py#L28, where sample['net_input']被传递到__call__模型的函数，它调用forward method.

首先你应该总是使用和定义forward不是您调用的其他方法torch.nn.Module实例。

绝对不能超载eval()如图所示trsvchn https://stackoverflow.com/a/58659193/10886420因为它是 PyTorch 定义的评估方法（see here https://pytorch.org/docs/stable/nn.html#torch.nn.Module.eval).此方法允许将模型内的层置于评估模式（例如，对层的特定更改，例如推理模式）Dropout or BatchNorm).

此外，你应该用__call__魔法方法。为什么？因为钩子和其他 PyTorch 特定的东西是以这种方式正确注册的。

其次，不要使用一些外来的东西。mode字符串变量，如建议的那样@阿南特·米塔尔 https://stackoverflow.com/questions/58655207/pytorch-different-forward-methods-for-train-and-test-validation/58655415#58655415。就是这样trainPyTorch中的变量是for，通过它来区分模型是否在eval模式或train mode.

话虽这么说，你最好这样做：

import torch


class Network(torch.nn.Module):
    def __init__(self):
        super().__init__()
        ...

    # You could split it into two functions but both should be called by forward
    def forward(
        self, src_tokens=None, src_lengths=None, prev_output_tokens=None, **kwargs
    ):
        encoder_out = self.encoder(src_tokens, src_lengths=src_lengths, **kwargs)
        if self.train:
            return self.decoder(prev_output_tokens, encoder_out=encoder_out, **kwargs)
        autoencoder_out = self.encoder(tgt_tokens, src_lengths=src_lengths, **kwargs)
        concat = some_concatination_func(encoder_out, autoencoder_out)
        return self.decoder(prev_output_tokens, encoder_out=concat, **kwargs)

您可以（并且可以说应该）将上述内容拆分为两个单独的方法，但这还不错，因为该函数相当短且可读。如果可能的话，只要坚持 PyTorch 的处理方式即可，而不是一些临时解决方案。不，反向传播不会有问题，为什么会有问题呢？