Pilier 5

Cross-entropy : l'erreur d'une prédiction probabiliste

Piège

On laisse $a_i$ atteindre exactement $0$ ou $1$ et $\log(a_i)$ diverge en $-\infty$ : la loss devient nan et tout l'entraînement explose. Le réflexe : torch.clamp(a, eps, 1-eps) avec $\varepsilon \approx 10^{-7}$ avant le log, ou utiliser directement binary_cross_entropy_with_logits qui le fait en interne.