深度學習中的優化算法包括以下幾種：

1、一階優化算法

隨機梯度下降(SGD)：每次僅使用一個或幾個樣本來更新模型參數，計算速度快，但更新方向可能不準確。

動量法(Momentum)：在 SGD 的基礎上引入了動量的概念，可以加速收斂并減少震蕩。

牛頓動量法(Nesterov 動量)：對動量法進行了改進，進一步提高了收斂速度和穩定性。

AdaGrad(自適應梯度)：為每個參數分配不同的學習率，對于稀疏數據效果較好，但在處理大規模數據時可能會遇到學習率過小的問題。

RMSProp(均方差傳播)：也是一種自適應學習率的方法，相比 AdaGrad 更加穩定。

Adam(帶動量的 RMSProp)：結合了動量法和 RMSProp 的優點，是當前深度學習中最常用的優化算法之一。

Nadam：對 Adam 的改進，進一步提高了收斂性能。

2、二階優化算法

牛頓法：利用損失函數的二階導數(即 Hessian 矩陣)來確定最優的搜索方向，收斂速度較快，但計算復雜度高，且對初始點要求較高。

擬牛頓法：通過迭代的方式近似求解 Hessian 矩陣，降低了計算復雜度，常見的擬牛頓法有 BFGS、L - BFGS 等。

共軛梯度法(CG)：一種用于求解大型稀疏線性方程組的迭代方法，也可以用于優化問題。

3、自適應優化算法

AdaDelta：與 AdaGrad 類似，但使用了窗口內的梯度平方平均值來代替所有的梯度平方和。

AdaMax：結合了 AdaGrad 和 RMSProp 的優點，既考慮了梯度的大小，又考慮了梯度的方向。

Lookahead：將動量法與 Adam 結合，提高了收斂速度和穩定性。

LAMBDA：對 Adam 進行改進，減少了對內存的需求，同時提高了訓練的穩定性。

Ranger：在 Adam 的基礎上引入了一種新的權重調整機制，可以進一步提高收斂速度和穩定性。

YOGI：一種基于 Lookahead 的優化器，通過在動量更新和參數更新之間引入額外的步驟來提高收斂性能。

4、其他優化算法

遺傳算法：模擬生物進化過程中的選擇、交叉、變異等操作，來搜索最優解，適用于復雜的優化問題。

蟻群算法：模擬螞蟻覓食過程中的信息傳遞機制，來解決組合優化問題。

粒子群優化算法：通過模擬鳥群覓食的行為，來搜索最優解，具有全局搜索能力強的特點。

模擬退火算法：來源于物理中的退火過程，通過控制溫度的下降來逐漸逼近最優解。

貝葉斯優化算法：基于概率模型的優化方法，適用于黑盒函數的優化。