溫馨提示×

PyTorch中如何進行模型的參數初始化

小樊
242
2024-03-05 19:31:04
欄目: 編程語言

在PyTorch中,可以通過定義一個函數來對模型的參數進行初始化。一般情況下,PyTorch提供了一些內置的初始化方法,如torch.nn.init模塊中的一些函數。以下是一種常見的初始化方法:

import torch
import torch.nn as nn
import torch.nn.init as init

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.linear = nn.Linear(100, 10)

    def initialize_weights(self):
        for m in self.modules():
            if isinstance(m, nn.Linear):
                init.xavier_uniform_(m.weight)
                if m.bias is not None:
                    init.constant_(m.bias, 0)

model = MyModel()
model.initialize_weights()

在上面的代碼中,我們定義了一個MyModel類,其中包含一個線性層nn.Linear(100, 10)。使用initialize_weights函數對模型的參數進行初始化,其中我們使用了Xavier初始化方法對權重進行初始化,并將偏置初始化為0。您也可以根據需要選擇其他初始化方法。

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女