如何为 pytorch 图层指定名称？

下列的上一个问题 https://stackoverflow.com/questions/66137298/how-to-detect-source-of-under-fitting-and-vanishing-gradients-in-pytorch，我想绘制权重、偏差、激活和梯度以获得与以下类似的结果this https://stackoverflow.com/questions/42315202/understanding-tensorboard-weight-histograms.

Using

for name, param in model.named_parameters():
    summary_writer.add_histogram(f'{name}.grad', param.grad, step_index)

正如所建议的上一个问题 https://stackoverflow.com/questions/66137298/how-to-detect-source-of-under-fitting-and-vanishing-gradients-in-pytorch给出次优结果，因为图层名称类似于'_decoder._decoder.4.weight'，这很难遵循，特别是因为架构因研究而发生变化。4这一次的运行在下一次不会是一样的，而且真的毫无意义。

因此，我想为每一层赋予我自己的字符串名称。

I found this https://discuss.pytorch.org/t/how-to-give-pytorch-layer-a-name/5521Pytorch 论坛讨论，但没有就任何最佳实践达成一致。

为 Pytorch 层分配名称的推荐方法是什么？

即，以各种方式定义的层：

1. 顺序：

self._seq = nn.Sequential(nn.Linear(1, 2), nn.Linear(3, 4),)

2. Dynamic:

self._dynamic = nn.ModuleList()
    for _ in range(self._n_features): 
        self._last_layer.append(nn.Conv1d(in_channels=5, out_channels=6, kernel_size=3, stride=1, padding=1,),)

3. Direct:

self._direct = nn.Linear(7, 8)

4. 其他我没想到的方式

我希望能够为每个层提供一个字符串名称，以上述每种方式定义。

顺序

传递一个实例集合.OrderedDict https://docs.python.org/3/library/collections.html#collections.OrderedDict。下面的代码给出conv1.weights, conv1.bias, conv2.weight, conv2.bias（注意缺少torch.nn.ReLU()，请参阅此答案的末尾）。

import collections

import torch

model = torch.nn.Sequential(
    collections.OrderedDict(
        [
            ("conv1", torch.nn.Conv2d(1, 20, 5)),
            ("relu1", torch.nn.ReLU()),
            ("conv2", torch.nn.Conv2d(20, 64, 5)),
            ("relu2", torch.nn.ReLU()),
        ]
    )
)

for name, param in model.named_parameters():
    print(name)

Dynamic

Use ModuleDict https://pytorch.org/docs/stable/generated/torch.nn.ModuleDict.html代替ModuleList:

class MyModule(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.whatever = torch.nn.ModuleDict(
            {f"my_name{i}": torch.nn.Conv2d(10, 10, 3) for i in range(5)}
        )

会给我们whatever.my_name{i}.weight (or bias）对于每个动态创建的模块。

Direct

只要你想怎么命名就可以了，这就是它的命名方式

self.my_name_or_whatever = nn.Linear(7, 8)

你没有想过

• 如果你想绘制权重、偏差及其梯度，你可以沿着这条路线走
• 您无法绘制激活图这样（或激活的输出）。使用PyTorch 挂钩 https://pytorch.org/tutorials/beginner/former_torchies/nnft_tutorial.html#forward-and-backward-function-hooks相反（如果你想要每层梯度通过网络时也使用这个）

对于最后一个任务，您可以使用第三方库火炬函数 https://github.com/szymonmaszke/torchfunc（免责声明：我是作者）或者直接去写你自己的钩子。