Introduzione all’algoritmo Naive Bayes

Uno dei modi più semplici per determinare l’ipotesi preferibile avendo già a disposizione dei dati è quello di usare il Teorema di Bayes, che fornisce un modo per calcolare la probabilità di un’ipotesi in base alla nostra conoscenza precedente.

Un algoritmo che utilizza il teorema di Bayes per questo scopo è il Naive Bayes. Prima di vedere cos’è e come utilizzarlo vediamo di spiegare il teorema di Bayes, senza la cui comprensione, risulta difficile comprendere i principi di funzionamento dell’algoritmo.

Cos’è il teorema di Bayes?

In statistica e teoria delle probabilità, il teorema di Bayes descrive la probabilità di un evento, in base alla conoscenza preliminare delle condizioni che potrebbero essere correlate all’evento. Serve come un modo per capire la probabilità condizionata.

Essenzialmente, il teorema consente di aggiornare un’ipotesi ogni volta che viene introdotta una nuova evidenza. L’equazione che la rappresenta è la seguente:

Con:

“P” = simbolo per indicare la probabilità.

P (A | B) = La probabilità dell’evento A (ipotesi) verificatasi dato che B (evidenza) si è verificata. Essa viene definita anche come probabilità posteriore.

P (B | A) = La probabilità che l’evento B (evidenza) si verifichi dato che A (ipotesi) si è verificata.

P (B) = La probabilità dell’evento B (ipotesi) che si verifichi. 

P (A) = La probabilità dell’evento A (evidenza) che si verifichi. Essa viene anche chiamata “probabilità precedente” perché è la conoscenza che abbiamo del valore di A prima di guardare le osservabili B.

Esempio

Ipotizziamo il lancio di due dadi e immaginiamo le seguenti ipotesi:

• L’evento B indica “ottenere un solo 2 dal lancio dei due dadi”;
• Nello spazio degli eventi ci sono in tutto 36 possibili esiti, tutti equiprobabili;
• Tra i 36 possibili esiti solo 11 (2,1; 2,2; 2,3; 2,4; 2,5; 2,6; 1,2; 3,2; 4,2; 5,2; 6,2) di questi sono favorevoli al realizzarsi dell’evento B.

Di conseguenza, P (B) = 11/36 = 30,56%

Ipotizzando ora che l’evento A rappresenti la possibilità di “ottenere 7 come somma dal lancio dei due dadi” abbiamo che:

• Tra i 36 possibili esiti solo 6 (1,6; 2,5; 3,4; 4,3; 5,2; 6,1) di questi sono favorevoli al realizzarsi dell’evento A.

Quindi, P(A) = 6/36 = 16,67%.

Per calcolare la probabilità condizionata ai due eventi, occorre trovare quali delle 6 possibilità dell’evento A (“ottenere 7 come somma dal lancio dei due dadi”), siano incluse nell’evento B (“ottenere un solo 2 dal lancio dei due dadi”). Siccome dentro A ci sono solo i possibili casi 2,5 e 5,2 che l’evento B sia verificato, abbiamo che:

P(B|A) = 2 / 6 = 33,33%

Applicando ill teorema di Bayes otteniamo:

P(A|B) = P(B|A) * P(A) / P(B) = 2/6 * 6/36 / (11/36) = 2/11 = 18,18%

Ciò significa che quasi 2 volte su 10 otteniamo come somma dal lancio dei due dadi 7 (con valore 2 dal primo lancio e 5 dal secondo lancio o viceversa, 5 dal primo lancio e 2 dal secondo lancio).

Naive Bayes

Naive Bayes è un algoritmo di apprendimento supervisionato adatto a risolvere problemi di classificazione binari (a due classi) e multi-classe.

La peculiarità principale dell’algoritmo, oltre ad avvalersi del teorema di Bayes, è che si basa sul fatto che tutte le caratteristiche non siano correlate l’una all’altra. La presenza o l’assenza di una caratteristica non influenzano la presenza o l’assenza di altre.

Wikipedia esprime questo fatto con il seguente esempio:

“Un frutto può essere considerato una mela se è rosso, rotondo e di circa 4″ di diametro. Anche se queste caratteristiche dipendono l’una dall’altra o dall’esistenza di altre caratteristiche, un classificatore Naive Bayes considera tutte queste proprietà come indipendenti per la probabilità che questo frutto sia una mela.”

Nei dataset reali, ciò può creare confusione in quanto i calcoli iniziano a diventare complicati. Per semplificare il lavoro, l’approccio di indipendenza delle caratteristiche viene utilizzato per “separare” prove multiple e trattarle come indipendenti.

Pertando la probabilità,

P(B1,B2,B3,…,Bn| A)

Può essere tradotta in:

P(B1|A) * P(B2|A) * P(B3|A) *…* P(Bn|A)

Come funziona il Naive Bayes?

Il Naive Bayes viene spesso descritto utilizzando dati categoriali poiché è facile da descrivere e calcolare utilizzando i rapporti. Secondo questo approccio basta calcolare delle probabilità.

Gli step da seguire sono:

1) Calcolo della probabilità della classe: Le probabilità di classe sono semplicemente le frequenze delle istanze che appartengono a ciascuna classe divisa per il numero totale di istanze.

2) Calcolo della probabilità condizionata: si applica il teorema di Bayes, per determinare le probabilità condizionate delle caratteristiche del problema.

3) Prendere una decisione: si calcola la probabilità per prevedere la classe di appartenenza della nuova istanza rispettando la verifica dell’indipendenza delle caratteristiche. La decisione finale è identificata nella classe che ottiene il valore di probabilità più elevato.

Vediamo subito un esempio per capirci meglio.