在 Caffe 框架中，常用的激活函數有：
- Sigmoid 激活函數：將輸入值映射到 0 到 1 之間，通常用于二分類問題。
- Tanh 激活函數：將輸入值映射到 -1 到 1 之間，通常用于多分類問題。
- ReLU（Rectified Linear Unit）激活函數：將負數部分置為 0，保留正數部分，通常用于加速收斂。
- Leaky ReLU 激活函數：ReLU 的改進版本，允許負數部分有一定的梯度。
- ELU（Exponential Linear Units）激活函數：ReLU 的改進版本，對負數部分進行指數變換，有更好的性能。
- PReLU（Parametric ReLU）激活函數：引入參數化參數，讓激活函數的負數部分有一定的學習能力。
- Softmax 激活函數：將向量歸一化為概率分布，通常用于多分類問題。
這些激活函數可以根據具體的問題和網絡結構選擇合適的激活函數來提高訓練效果。
