Forme linéaire $Z = X W + b$

Formule

La fonction sigmoide est definie par $\sigma : \mathbb{R} \to (0,1),\ z \mapsto \dfrac{1}{1 + e^{-z}}$. Elle est strictement croissante, $C^\infty$ sur $\mathbb{R}$, verifie $\sigma(0) = 1/2$, $\lim_{z\to+\infty}\sigma(z) = 1$, $\lim_{z\to-\infty}\sigma(z) = 0$. Elle est liee à la tangente hyperbolique par $\sigma(z) = \tfrac{1}{2}\big(1 + \tanh(z/2)\big)$ et sa dérivée admet la forme remarquable $\sigma'(z) = \sigma(z)\big(1 - \sigma(z)\big)$.