Activation = la non-linéarité qui rend deux couches utiles

$\sigma(z) = 1/(1 + e^{-z})$ ou $\mathrm{ReLU}(z) = \max(0, z)$, appliquée élément-par-élément entre deux couches : $A_1 = \sigma(W_1 X + b_1)$.