Emotion Classification with Natural Language Processing (Comparing BERT and Bi-Directional LSTM models for use with Twitter conversations)

Abstract

We have constructed a novel neural network architecture called CWE-LSTM
(concatenated word-emoji bidirectional long short-term memory) for classify-
ing emotions in Twitter conversations. The architecture is based on a combina-
tion of word and emoji embeddings with domain specificity in Twitter data. Its
performance is compared to a current state of the art natural language process-
ing model from Google, BERT. We show that CWE-LSTM is more successful at
classifying emotions in Twitter conversations than BERT (F 1 73 versus 69). Fur-
thermore, we hypothesize why this type of problem’s domain specificity makes
it a poor candidate for transfer learning with BERT. This is to further detail the
discussion between large, general models and slimmer, domain specific models
in the field of natural language processing.

Popular Abstract (Swedish)

Vi har skapat en modell som känner igen vilken underliggande känsla som finns i en
konversation på Twitter. För att utvärdera hur bra vår modell är har vi jämfört med
BERT, en större modell skapad av Google.
Det vetenskapliga fält som handlar om hur datorer
behandlar text heter natural language process-
ing (NLP). Ett vanligt problem inom NLP är hur
datorer ska förstå olika mänskliga känslor. I vår
uppsats skapar vi en modell (CWE-LSTM) som
tittar på konversationer från Twitter. Modellen
har som mål att bedöma vilken underliggande
känsla som finns i konversationen.
En trend som fått fotfäste inom NLP kallas
transfer learning. Här används en stor färdig-
byggd modell som anpassas till problemet man
jobbar med. För att se hur bra modell vi har
konstruerat, jämför vi den med transfer learning-
modellen BERT, från Google. Både Googles
BERT och vår modell har samma mål: en
textsträng matas in och sannolikheter för vilken
känsla som finns i textsträngen kommer ut.
En fördel med BERT är att vi knappt behöver
bearbeta data. Det som behövs är att finjustera
BERT till vårt problem, vilket Google gjort så
lätt som möjligt. Detta står i kontrast till CWE-
LSTM som vi skapar från grunden. Det första som
behövs när man bygger en modell som ska analy-
sera text, är ett sätt för datorn att förstå texten.
Med hjälp av word embeddings kan vi repre-
sentera ord så att vår modell kan läsa dem. Efter-
som Emojis är så vanliga på Twitter har vi också
en speciell representation för dessa. Med hjälp av
maskininlärningsmetoder kan vi sedan konstruera
vår modell utan att beskriva exakt vad den ska
leta efter. Modellen lär sig själv att hitta vad som
är viktigt i konversationerna för att bestämma den
underliggande känslan.
För att utvärdera hur bra modellerna fungerar,
testas de på konversationer de inte tidigare sett.
Vår slutsats är att CWE-LSTM lyckas bättre
än BERT när det gäller att klassificera Twit-
terkonversationer. Det kan bero på olika saker.
Framförallt så lär sig BERT hur språk hänger
ihop på en annan plats än Twitter. Poängen
med transfer learning-modeller är att de ska vara
tillämpningsbara på många typer av problem.
Trasslet med chatkonversationer är att de är lite
specifika, exempelvis är det sällan korrekt gram-
matik. I vårt fall är det därför bättre att an-
vända CWE-LSTM. Slutsatsen är att det är vik-
tigt att ha kännedom om sitt problem innan tillvä-
gagångssättet bestäms. Förhoppningsvis ger vår
uppsats en bättre bild av vilka modeller som kan
tillämpas på vilket problem.

• author: Joselson, Nathaniel and Hallén, Rasmus
• supervisor: Pierre Nugues
• organization: Mathematical Statistics
• course: MASM01 20191
• year: 2019
• type: H2 - Master's Degree (Two Years)
• subject: Mathematics and Statistics
• language: English
• id: 8986465
• date added to LUP: 2019-06-20 10:53:17
• date last changed: 2019-06-20 10:53:17