Cos'è?
La Cross Entropy è una funzione di perdita usata per misurare la differenza tra due distribuzioni di probabilità. In ML, confronta le predizioni del modello con i dati reali.
A cosa serve?
Maggiore è il valore dell'entropia, peggiore è la performance del modello. L'obiettivo della retropropagazione (Backpropagation) è minimizzare questo numero.
Formula
H(p, q) = - Σ p(x) log(q(x))
Dove p è la distribuzione vera e q quella predetta.