Pont vers MNIST : ce réseau, plus large, lit les chiffres

Idée

Le même programme, en agrandissant juste les dimensions des tenseurs, apprend a reconnaitre des chiffres écrits à la main.

Outil

Comme un même schéma d'integration numérique resout aussi bien un oscillateur à un degre de liberte qu'un système planetaire : la methode est invariante d'echelle, seules les dimensions changent.

Formule

Vidéo 9 explique brièvement ce choix lors de l'animation. Sans regarder, donner la justification.

Piège

Vidéo 9 : 2, 4, 8, 16, 32 neurones cachés. Plus on augmente, mieux c'est... jusqu'à ce que. L'overfit arrive (modèle trop riche pour les données), le temps d'entraînement explose, et la mémoire saturé. La courbe accuracy(n_neurones) est concave puis plateau, pas monotone. La largeur optimale dépend de la quantité de données.