Elaborazione del linguaggio naturale: sette cose da sapere

Tale test è conosciuto oggi come test di Turing: esso afferma che se una macchina può avere una conversazione con un umano e ingannare l’umano nel pensare che la macchina è una persona, allora la macchina si dice artificialmente intelligente.

Ma cosa c’entra il test di Turing con l’elaborazione del linguaggio naturale?”

Essenzialmente per 2 ragioni:

• Il test di turing ha scandito la nascita dell’intelligenza artificiale, settore che include le tecniche di elaborazione del linguaggio naturale;
• la parte essenziale del test di Turing è la comunicazione tra uomo e macchina. Il computer deve essere in grado di comunicare con un essere umano, e per farlo deve essere in grado di comprendere il linguaggio umano.

Anche se non abbiamo ancora raggiunto l’intelligenza artificiale (nonostante c’è chi affermi il contrario), l’elaborazione del linguaggio naturale è diventata molto popolare negli ultimi anni e oggi è utilizzata in molti prodotti.

È una tecnologia affascinante che ha già cambiato molto il mondo della tecnologia e promette di farlo ancora di più in futuro.

Vediamo cosa è importante conoscere.

1) Che cos’è l’elaborazione del linguaggio naturale?

Fin dalla loro comparsa, i computer hanno sempre operato su linguaggi artificiali (linguaggi di programmazione come SQL, Java, C ++, ecc.).

Questi linguaggi sono stati creati per comunicare istruzioni alle macchine, e di conseguenza, non sono in grado di comprendere il linguaggio naturale, che è quello parlato da noi esseri umani.

Combinando il potere dell’intelligenza artificiale, della linguistica computazionale e dell’informatica, l’elaborazione del linguaggio naturare viene incontro a questo problema aiutando le macchine a comprendere il linguaggio naturale.

Quindi quando si parla di elaborazione del linguaggio naturale (o Natural Language Processing dall’inglese, o più brevemente, NLP) ci si riferisce alla capacità di un computer di comprendere il linguaggio umano mentre viene pronunciato.

L’obiettivo dell’elaborazione del linguaggio naturale è quello di far sì che i computer svolgano compiti utili che coinvolgono il linguaggio umano, compiti come abilitare la comunicazione uomo-macchina, migliorare la comunicazione uomo-uomo o semplicemente fare un’utile elaborazione di testo o parlato. (Jurafsky, Manning 2011)

Lo studio dell’elaborazione del linguaggio naturale esiste da oltre 50 anni e si è sviluppato fuori dal campo della linguistica con l’avvento dei computer.

Negli ultimi anni si sono fatti numerosi progressi dalla traduzione automatica di Google e dai software di riconoscimento vocale e testuale agli assistenti virtuali come Siri o Alexa.

2)   Come funziona l’elaborazione del linguaggio naturale?

Per capire come funziona l’elaborazione del linguaggio naturale, dobbiamo dare un’occhiata ai due componenti principali di esso, la comprensione della lingua naturale e la generazione del linguaggio naturale.

Queste due parti della NLP sono molto diverse l’una dall’altra e vengono svolte utilizzando metodi diversi.

Nella comprensione della lingua naturale (NLU, o Natural Language Understanding), il computer, tramite sistemi di riconoscimento vocale, converte il linguaggio naturale in linguaggio artificiale.

La maggior parte dei sistemi di riconoscimento vocale oggi sono basati su modelli Hidden Markov (HMM), ossia modelli statistici che trasformano il discorso in testo effettuando calcoli matematici per determinare ciò che viene pronunciato.

In pratica, suddividono la voce pronunciata in piccole unità (di solito 10-20 millisecondi) e la confrontano con il discorso preregistrato per determinare il fonema che hai pronunciato in ogni unità del tuo discorso (un fonema è l’unità più piccola di parola che c’è).

Guardando la serie di fonemi, il modello determina statisticamente sotto forma di testo le parole e le frasi che hai detto.

Il prossimo, e il più difficile passo di NLU, è la parte di comprensione reale.

Innanzitutto, il computer deve capire cosa rappresenta ogni parola. Per farlo si avvale di un processo chiamato Part-of-Speech (POS), che consiste nell’etichettare ogni parola secondo una determinata categoria come nome, verbo, avverbio, pronome, e così via.

Gli algoritmi NLP moderni utilizzano l’apprendimento automatico delle macchine per applicare queste regole al linguaggio naturale e determinare il significato più probabile dietro ciò che è stato detto.

La generazione del linguaggio naturale (NLG, o Natural Language Generation), invece, risulta molto più semplice da realizzare.

Questa applicazione traduce il linguaggio artificiale di un computer in testo e può anche fare un passo in avanti traducendo quel testo in un discorso udibile con sintesi vocale (è il processo inverso a quello visto poco fa).

Inizialmente, il sistema NLP determina quali informazioni tradurre in testo.

Ad esempio, se fai una domanda al tuo computer sul tempo, per risponderti farà una ricerca online per trovare la tua risposta, e da lì decide che la temperatura, il vento e l’umidità sono le parti che dovrebbero essere lette ad alta voce per te.

Successivamente organizza la struttura di come te lo dirà, utilizzando un lessico e un set di regole grammaticali, per formare frasi complete.

Infine, utilizzando un database vocale (che contiene registrazioni da un doppiatore), il motore riunisce tutti i fonemi registrati per formare una sequenza di parole coerente.

3) Chi lo sta facendo?

L’elaborazione del linguaggio naturale è un campo di interesse crescente delle principali multinazionali tecnologiche americane, quali Apple, Google, Facebook e Amazon.

Le maggiori applicazioni le troviamo nei dispositivi che utilizziamo tutti i giorni: smartphone e computer.

Chi ha un Iphone probabilmente almeno una volta nella vita ha fatto una domanda all’assistente Siri.

Così anche chi ha bisogno di tradurre l’italiano con un’altra lingua utilizza Google traduttore.

Questi sono solo gli esempi più famosi e diffusi: in aggiunta a essi ci sono anche startup che stanno sviluppando piattaforme di intelligenza artificiale.

Un esempio è MindMeld, una piattaforma tecnologica che consente alle aziende di creare interfacce di conversazione intelligenti per qualsiasi applicazione o dispositivo.

Nel seguente video puoi vedere come funziona MindMeld (solo in inglese):

Infine, esistono anche molte librerie oper souce: la più popolare è Natural language toolkit (NLTK), la piattaforma principale per la creazione di applicazioni NLP, che è scritta in python.

Essa fornisce una struttura intuitiva insieme a elementi costitutivi sostanziali, interfacce coerenti e strutture dati.

4) Perché è importante?

Siccome la quantità di informazioni disponibili online aumenta di giorno in giorno, la necessità di accedere e di elaborarle diventa fondamentale.

Per convertire le informazioni da una lingua a un’altra, è possibile utilizzare la traduzione automatica, che è l’applicazione NLP più utilizzata e che permette di superare le barriere linguistiche.

Inoltre, Le tecniche di NLP sono molto utili per la Sentiment Analysis, ossia l’analisi dei sentimenti.

Questo tipo di analisi aiuta a identificare le emozioni tra diversi post e commenti online da parte delle persone.

È già un business: le aziende utilizzano le tecniche di elaborazione di linguaggio naturale per conoscere l’opinione del cliente sui loro prodotti e servizi dalle recensioni online per ottenere maggiori insight non soltanto sui propri consumatori, ma anche sull’andamento delle proprie attività.

Questo mercato vale già oggi qualche centinaio di milione di € (vedi fonte), e risulta sempre più fondamentale visto l’utilizzo di internet e dei social.

Altre applicazioni che si stanno sviluppando contemporaneamente a quelle appena viste sono le seguenti:

• Estrazione del contesto (Contextual Extraction) al fine di estrarre automaticamente informazioni strutturate da fonti testuali.
• Conversione da testo a testo e da testo a voce per trasformare i comandi vocali in testo scritto e viceversa.
• Sintesi di documenti per generare automaticamente riassunti di grandi quantità di testo.
• Categorizzazione dei contenuti al fine di ottenere un riepilogo del documento basato su linguistica, inclusi ricerca e indicizzazione, avvisi di contenuto e rilevamento di duplicati.
• Ricerca e modellazione di argomenti per acquisire con precisione il significato e i temi nelle raccolte di testo e applicare analitiche avanzate al testo, come l’ottimizzazione e le previsioni.

5) Quali sono gli svantaggi?

L’elaborazione del linguaggio naturale non ha solamente aspetti positivi.

Anzi: rappresenta una sfida fondamentalmente difficile, in parte perché cerca di analizzare le strutture e i significati complessi del linguaggio naturale utilizzando strumenti e metodi di matematica, statistica e apprendimento automatico.

A differenza delle lingue artificiali, i linguaggi naturali sono difficili da definire con un insieme esplicito di regole.

Comprendere il linguaggio umano significa comprendere non solo le parole, ma i concetti e il modo in cui sono collegati insieme per creare un significato.

Nonostante la lingua sia una delle cose più facili da imparare per l’uomo, l’ambiguità del linguaggio è ciò che rende l’elaborazione del linguaggio naturale un problema difficile da padroneggiare per i computer.

Quindi, questo è un primo problema.

Un secondo problema correlato è che ampi dizionari, software e altri strumenti, che possono aiutare i ricercatori della NLP ad analizzare il significato e la struttura, sono stati sviluppati prevalentemente in inglese.

Di conseguenza, per altre lingue tali risorse non sono disponibili, e senza una conoscenza della lingua anglosassone non risulta ancora possibile utilizzare questi sistemi.

C’è ancora della strada da fare, anche se miglioramenti in questo ambito li possiamo già vedere.

Ad esempio, secondo un articolo di Wired, già quest’anno il servizio Alexa sarà reso disponibile da Amazon anche in italiano, seppure con qualche limitazione.

Non meno rilevante, infine, risultano le questioni di tipo sociale che vengono influenzate negativamente da questa tecnologia, come la possibile riduzione del contatto umano e della capacità di analisi e di interpretazione da parte degli studenti.  

6) Dove ci sta portando?

Attualmente, l’elaborazione del linguaggio naturale tende ad essere basata sulla trasformazione del linguaggio naturale in linguaggio macchina.

Ma con la maturazione della tecnologia, in particolare dell’intelligenza artificiale, il computer inizierà a fornire risposte anziché risultati di ricerca.

Una volta apprese le relazioni semantiche e le inferenze della domanda, la macchina sarà in grado di eseguire automaticamente il filtraggio e l’organizzazione necessaria per fornire una risposta intelligibile, piuttosto che semplicemente mostrarti i dati.

Altri miglioramenti li otterremo nell’analisi dei sentimenti. Già Watson il potente robot della IBM è in grado di individuare alcune emozioni (quali gioia, paura, tristezza, disgusto e rabbia) di una persona nell’86% dei casi.

In futuro questo campo, aumenterà la precisione per apprendere meglio i testi e verranno implementate in nuove lingue.

Pure il business e il marketing ne risentiranno.

Già oggi, le aziende stanno sempre più implementando assistenti virtuali, i cosiddetti chatbot, per migliorare l’assistenza clienti 24 ore su 24, 7 giorni su 7.

Questi sistemi sostituiranno molto probabilmente le persone: le aziende stanno passando infatti da un modello tradizionale in cui le persone venivano formate per fornire ai clienti i componenti che contavano per il business, a una nuova realtà in cui la tecnologia è programmata per farlo.

7) Quali sono le implicazioni per l’apprendimento e l’insegnamento?

I ricercatori dell’Università dell’Arizona hanno iniziato a esplorare come gli assistenti digitali come Alexa potrebbero essere utilizzati in classe come parte di sistemi automatizzati per l’insegnamento e l’apprendimento.

C’è chi è piuttosto scettico sull’argomento e che crede che ciò possa avere effetti negativi sulla vita sociale degli studenti.

Altri studi invece, come quello del del Dr. Khaled M. Alhawiti del 2014, affermano che l’elaborazione del linguaggio naturale può migliorare l’insegnamento e l’apprendimento degli studenti.

L’uso della grammatica, della sintassi e della composizione della frase può essere efficacemente utilizzato attraverso i sistemi di software di linguistica quali correttori grammaticali per risparmiare tempo e per fornire assistenza ad insegnanti e studenti.

Ulteriori ricerche verranno condotte per identificare l’impatto, la comprensione del contesto e l’efficacia dell’elaborazione del linguaggio naturale sull’individuo, nonché possibili effetti sociali che tali strumenti si ripercuoteranno su allievi e professori.