Definizione matematica
La funzione di perdita cross‑entropy misura la distanza tra due distribuzioni di probabilità: quella prevista dal modello e quella reale. In termini pratici, penalizza fortemente gli errori su campioni rari.
L’espressione per un singolo esempio è -\sum_{c} y_c \log(\hat{y}_c), dove y è la distribuzione target e \hat{y} quella predetta. Quando si tratta di classificazione binaria, questa formula si riduce a una forma più semplice.
Perché scegliere la cross‑entropy?
- Convergenza rapida grazie alla derivata logaritmica
- Robusta ai valori di output in prossimità di 0 o 1
- Facile da interpretare come entropia informativa