Pilier 6

Descente de gradient — la bille qui descend la pente

Formule

$W \leftarrow W - \alpha \cdot \nabla_W \mathcal{L}$, $b \leftarrow b - \alpha \cdot \nabla_b \mathcal{L}$ ; $\alpha$ est le pas (learning rate).