Cos’è la Cross Entropy?
Immagina di avere un modello che deve indovinare se una foto contiene un gatto o un cane. La cross entropy misura l’errore tra le probabilità previste e quelle vere. Se il modello dice 90 % per un gatto quando in realtà è un cane, la perdita sarà alta.
Perché importa?
L’obiettivo principale è minimizzare questa perdita durante l’addestramento. Più basso è il valore, più le predizioni si avvicinano alla verità. In pratica, è lo strumento che permette al modello di imparare a non sbagliare.
Come funziona matematicamente?
La formula base è: L = -∑ y_i × log(p_i), dove y_i è la vera etichetta (0 o 1) e p_i la probabilità prevista. Se l’etichetta è 1, il termine diventa -log(p); se è 0, si ignora.
Applicazioni pratiche
- Classificazione binaria: riconoscimento facciale, spam detection.
- Multi‑classe: classificazione di immagini in più categorie.
Cross Entropy vs. altre funzioni di perdita
Altri candidati come MSE (Mean Squared Error) non funzionano bene con probabilità perché penalizzano in modo diverso le deviazioni. La cross entropy è sensibile alle piccole variazioni nelle predizioni, rendendola più adatta per compiti classificatori.
Calcolarla con un tool
Il sito crossentropy.it offre uno strumento semplice: inserisci le tue probabilità e etichette, premi “Calcola” e ottieni il valore di perdita in pochi secondi. Perfetto per chi vuole verificare rapidamente i risultati senza scrivere codice.
Consigli rapidi
Quando la perdita è molto alta, controlla se le probabilità sono troppo certe (vicine a 0 o 1) ma sbagliate. Un modello sovraaddestrato tende a dare output “confidenti” su esempi errati.