Formule
La fonction d'activation utilisee dans le perceptron de la partie 2 et la couche cachée de la partie 3 est la sigmoide $\sigma : \mathbb{R} \to (0,1)$ definie par $\sigma(z) = \dfrac{1}{1 + e^{-z}}$. Elle est strictement croissante, $C^\infty$, satisfait $\sigma(0) = 1/2$, $\lim_{z \to -\infty} \sigma(z) = 0$ et $\lim_{z \to +\infty} \sigma(z) = 1$. Sa dérivée verifie $\sigma'(z) = \sigma(z)(1-\sigma(z))$. C'est, a translation et homothetie pres, la tangente hyperbolique normalisee : $\sigma(z) = \tfrac{1}{2}(1 + \tanh(z/2))$.