Pilier 5

Cross-entropy : l'erreur d'une prédiction probabiliste

Formule

Pour un exemple : $L = -\log(p_{\text{vraie classe}})$. Pour un batch binaire : $\mathcal{L} = -\tfrac{1}{m}\sum_i y_i \log(a_i) + (1-y_i)\log(1-a_i)$.