神經網絡只是由兩個或多個線性網絡層疊加，并不能學到新的東西，簡單地堆疊網絡層，不經過非線性激活函數激活，學到的仍然是線性關系。
但是加入激活函數可以學到非線性的關系，就具有更強的能力去進行特征提取。
構造數據
import torch import torch.nn.functional as F from torch.autograd import Variable import matplotlib.pyplot as plt x = torch.linspace(-5, 5, 200) # 構造一段連續的數據 x = Variable(x) # 轉換成張量 x_np = x.data.numpy() # 換成 numpy array, 出圖時用
Relu
表達式：
代碼：
y_relu = F.relu(x).data.numpy() plt.plot(x_np, y_relu, c='red', label='relu') plt.ylim((-1, 5)) plt.legend(loc='best') plt.show()
形狀如圖：
Sigmoid
表達式：
代碼：
y_sigmoid = F.sigmoid(x).data.numpy() plt.plot(x_np, y_sigmoid, c='red', label='sigmoid') plt.ylim((-0.2, 1.2)) plt.legend(loc='best') plt.show()
形狀如圖：
Tanh
表達式：
代碼：
y_tanh = F.tanh(x).data.numpy() plt.plot(x_np, y_tanh, c='red', label='tanh') plt.ylim((-1.2, 1.2)) plt.legend(loc='best') plt.show()
形狀如圖：
Softplus
表達式：
代碼：
y_softplus = F.softplus(x).data.numpy() plt.plot(x_np, y_softplus, c='red', label='softplus') plt.ylim((-0.2, 6)) plt.legend(loc='best') plt.show()
形狀如圖：
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持億速云。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
