學習率

學習率的大小對梯度下降的搜索過程影響非常大，太小搜索速度慢，太大又可能跳過極值。上述手動選擇學習率的方式，稱為SGD 隨機梯度下降法，每次的學習率都是固定的。手動選擇適當的學習率往往要花費不少時間，所以可以用如下三種方式自動幫我們選擇學習率
1. 衰減因子
2. 引入動量
3. 自動調整學習率(自適應梯度策略，又稱為優化器 Optimizer)

學習率衰減因子

把初始學習率預設為 1，然後依迭代的次數，逐步減少。迭代公式如下

$(lr_{i} = \frac{lr_{0}}{(1.0 + decay * i)})$

$(lr_{0})$ 為初始學習率，decay 為衰減因子，i  為第 i 次迭代，$(lr_{i})$ 為第 i 次迭代所計算出來的學習率。

衰減因子愈小，衰減率會愈大，就會更快接近極值。但此時的初始學習率亦必需設定大一點，如果初始學習率設太小，衰減愈不明顯。底下是 Python 完整代碼

底下是初始學習率 0.4 ，decay 為 0.99 所執行的圖解。

底下是初始學習率 0.6 ，decay 為 0.99 所執行的圖解, 一下就找到極值。如果初始學習率設定為 0.5 ，則會更快，馬上就不動了

引入動量

物理學的動量定義為 質量 * 速度，也就是 m * v。一開始設定 v = 0 (一開始不動)，然後每次迭代 v = x.grid * lr + m * v * u，u 是摩擦力系數，每次移動時的縮小系數。

底下是 Python 代碼。

下圖是執行後的結果，可以看到就好像一顆圓球，滑入一個凹槽中，然後來回左右滾動。所以如果想要製作這種模擬現實生活中滾來滾去的動畫，加入動量是最好的方法。

動量的作用，其實就是在平滑之處，有鼓力量將現在的位置往前推(慣性)，讓它越過目前的門檻。當然啦，如果動量不足以跨不出目前的門檻，還是會被打回而卡住。

所以引入動量的方法，只是去探測未來的高度是否還是跟往惜一樣的平坦，用此動能衝看看，如果可以跨過就往前，如果跨不過去就反彈。

鞍點無動量

加入動量的重要性如下。當一個函數有鞍點且使用傳統學習方式時，就會卡在局部最小值中，無法突破

上述就是使用傳統的方式，結果會卡在局部的低值(0,0) 中。

鞍點加動量

加入動量就可能突破鞍點，底下的圖就是加入球的慣性，讓球能越過下一波的高點，但這高點不能高於上一波的高點，否則會因動能不足而跨不過去。

Torch 版

Numpy 版