Pourquoi empiler des neurones — le perceptron seul est trop biaisé

Idée

Un neurone seul trace une frontière droite : il sait séparer deux nuages que l'on peut couper d'un trait.

Pourquoi

Un neurone seul trace une frontière droite : il sait séparer deux nuages que l'on peut couper d'un trait. Pour des nuages enchevêtrés, on ne change pas l'outil, on l'empilé : chaque neurone supplémentaire devient un détecteur de morceau de frontière, et la machine apprend elle-même quels morceaux assembler. C'est exactement le rôle qu'on faisait à la main en MPSI quand on rajoutait des termes $x^2$ pour passer d'une droite à une parabole.

Outil

On retrouve le passage droite → parabole quand on rajoute des termes $x^2$ en MPSI ; ici la machine apprend elle-même les termes au lieu qu'on les pose à la main.

Formule

Le présentateur introduit la vidéo 7 en énonçant les limites du perceptron. Sans regarder, donner les deux limitations principales.

Piège

Vidéo 7 : 'le modèle est biaisé, son caractère linéaire représente un biais qui l'empêche de saisir la complexité'. Ici 'biais' = bias-variance trade-off (limitation structurelle du modèle), pas le paramètre 'b' de l'équation $z = wx + b$. Confondre les deux fait croire qu'augmenter b augmente la capacité — non.