Idée
Faire couler les données de l'entrée jusqu'à la sortie en répétant le même geste à chaque étage.
Outil
C'est le déroulement séquentiel d'une composition de fonctions, où la sortie de chaque maillon devient l'entrée du suivant.
Formule
Soit un réseau à trois couches de tailles respectives $n_1, n_2, n_3$, prenant en entrée $X \in \mathbb{R}^{n_0 \times m}$ (convention transposée). Écrire la séquence complète des équations forward (de $Z^{[1]}$ à $A^{[3]}$) en notation matricielle.
Piège
Si on appelle forward(X, parametres) avant parametres = initialisation(...), NameError ou utilisation des paramètres précédents (état zombie de la cellule précédente). Discipline notebook : toujours réinitialiser avant un nouvel entraînement, sinon les poids 'continuent' par accident.