Classificazione di recensioni con Yelp Open Dataset

6 Ottobre 2020

Progetti Programmazione

4 min.

192

This post is available in English

Yelp Open Dataset è una raccolta di dati che riguarda degli utenti che scrivono recensioni su degli esercizi commerciali appartenenti a diverse categorie commerciali (es. ristorazione, noleggio auto, ecc…).

Grazie a questa base di dati ho potuto realizzare un modello basato su una rete neurale per la classificazione automatica delle recensioni utilizzando tecniche di elaborazione del linguaggio naturale e machine learning.

Il modello già addestrato può essere utilizzato su Google Colab cliccando sul pulsante di seguito.
NB. La rete neurale funziona solo con frasi in lingua inglese.

Nei prossimi paragrafi descrivo come si è svolto il progetto.

Creazione del modello

I valori di input sono stati calcolati applicando tecniche di word embedding al testo delle recensioni. I valori di output per ogni input sono stati calcolati in base al numero di stelle associato alla recensione e trasformato in un vettore binario per permettere al modello di effettuare una classificazione basata su categorie (es. ”4 stelle” è stato codificato con il vettore [0, 0, 0, 1, 0]).

Sono stati seguiti i passi descritti in questo corso.

Dopo numerosi tentativi, provando diverse configurazioni di livelli e parametri diversi, è stata scelta la seguente configurazione:

# Parameters for word embedding
vocab_size = 10000
embedding_dim = 128
max_length = 256

# Model configuration
model = tf.keras.Sequential([
    tf.keras.layers.Embedding(vocab_size, embedding_dim,
input_length=max_length),
    tf.keras.layers.GlobalAveragePooling1D(),
    tf.keras.layers.Dropout(0.4),
    tf.keras.layers.Dense(5,activation=’softmax’)
])

Addestramento e validazione

Sono state selezionate le prime 10.000 recensioni, senza alcun criterio di filtraggio, effettuando una divisione 80%-20% per costruire, rispettivamente, training set e test set. In fase di addestramento è stato aggiunto un early stopping per prevenire l’overfitting.
I valori di accuracy risultanti sono 79,8% per il training set e 63,7% per il test set (Figura 1).

Sarebbe stato molto interessante selezionare 100.000 recensioni anziché solo un decimo di queste, ma non è stato fatto per limiti di capacità computazionali dell’elaboratore.

Miglioramento delle performance

Considerando che cambiando i parametri o la composizione del modello i risultati non miglioravano in modo significativo, si è scelto di effettuare un filtraggio sui dati eliminando quelli che producevano valori di loss troppo alti. L’assunzione dietro a questa scelta sta nel fatto che questi valori di input-output potrebbero non essere molto veritieri.
Per ogni istanza dei 10.000 record scelti si è calcolato il valore di loss e si è deciso di scartare quelle che presentavano tale valore più alto di 2.
I valori di accuracy risultanti dopo questa operazione sono 88,9% per il training set e 70,3% per il test set (Figura 2).

Risultati finali

Di seguito sono riportati dei grafici che mostrano i dati sui quali si può effettuare una valutazione finale sul modello per il riconoscimento automatico di una recensione.
Al fine di una classificazione tra recensioni positive e negative possiamo valutare come positive le recensioni a cui vengono attribuite 4 o 5 stelle e come negative quelle a cui ne vengono attribuite 1 o 2. Il caso delle 3 stelle è arbitrario.
Osservando i grafici mostrati nelle figure 3, 4, 5 e 6 possiamo verificare come l’accuratezza del modello sia migliorata.

Ulteriori analisi

Nella mia repository sono disponibili altri notebook che contengono analisi aggiuntive sui dati di Yelp Open Dataset.