Hoe werkt sentimentanalyse?

Wat is sentimentanalyse?

Voordat we erin duiken, eerst een korte herhaling van wat sentimentanalyse is.

Als mensen gebruiken we dagelijks sentimentanalyse om de meningen van anderen te beoordelen. Soms kan dat lastig zijn, bijvoorbeeld wanneer je te maken hebt met een bijzonder sarcastische vriend of probeert te begrijpen wat je baas echt vindt wanneer hij feedback geeft op een belangrijke presentatie! Sentimentanalysesoftware probeert deze zeer menselijke ervaring na te bootsen.

Hoewel sommige software spraak kan analyseren, worden de meeste sentimentanalysetools gebruikt voor tekstanalyse om het algemene sentiment van een tekst te classificeren als positief, negatief of neutraal. Dit wordt polariteit genoemd. 

Veelvoorkomende gegevensbronnen voor sentimentanalyse zijn berichten op sociale media, nieuwsartikelen, online beoordelingen, aangevraagde feedbackformulieren, enquêtereacties en webpagina's/blogs/forums. Je kunt sentimentanalyse ook horen aanduiden als opinieanalyse, emotie-AI of, technischer gezegd, sentimentclassificatie.

Er zijn vier hoofdtypen sentimentanalyse: 

• Gedetailleerd, oftewel polariteit (positief, negatief of neutraal)
• Gevoelens en emoties (blij, boos, verdrietig, geamuseerd) 
• Op aspecten gebaseerd (identificeert de mening over een specifiek aspect van iets, bijvoorbeeld de camera van een smartphone)
• Intentie (geïnteresseerd, niet geïnteresseerd, zeer geïnteresseerd).

Sentimentanalysetools helpen je de enorme hoeveelheid subjectieve gegevens die beschikbaar zijn op web 2.0 te doorzoeken om feedback van belanghebbenden te begrijpen. 

Organisaties gebruiken sentimentanalyse op verschillende manieren. Veel merken gebruiken het als onderdeel van hun marktonderzoek om beter te begrijpen wat goed werkt binnen hun merkstrategie en waar ze verbeteringen moeten aanbrengen. Een andere toepassing is het gebruik door financiële instellingen om de nieuwsberichten te analyseren en investeringsmogelijkheden te identificeren.

Hoe werkt sentimentanalyse?

Goed, laten we nu ingaan op de werking van sentimentanalyse. In de kern is sentimentanalyse een vorm van datawetenschap. Meer specifiek is het een vorm van natuurlijke taalverwerking (NLP), zelf een subonderdeel van kunstmatige intelligentie (AI), voor het identificeren en classificeren van subjectieve meningen uit tekst- of spraakgegevens.

AI bij sentimentanalyse van klanten bevindt zich precies op het snijvlak van computertechnologie en menselijke spraak, een boeiend vooruitzicht voor elke datawetenschapper met een liefde voor taalkunde.

Maar het is niet eenvoudig. Om de taal in een tekst goed te begrijpen en een nauwkeurige sentimentscore of zinvol inzicht te produceren, moeten programma's verschillende methoden gebruiken die nabootsen wat wij als mensen intuïtief doen. Deze simulaties nemen de vorm aan van geavanceerde algoritmen (instructies voor computers).

Vanaf hier zijn er twee hoofdbenaderingen voor sentimentanalyse:

• Op regels gebaseerd: een systeem dat is gebaseerd op regels die handmatig door mensen zijn opgesteld.
• Automatisch: systemen die zichzelf aanleren met behulp van geavanceerde technieken voor machinaal leren. 

Het fundamentele verschil tussen beide is hun aanpak om het systeem te onderwijzen. We bespreken deze nu wat gedetailleerder.

Sentimentanalyse op basis van regels

Bij de op regels gebaseerde methode wordt NLP gecombineerd met een reeks handmatig gedefinieerde regels om subjectiviteit, polariteit of het onderwerp van een mening te helpen identificeren. Enkele gebruikte NLP-technieken zijn stemming, tokenisatie, woordsoorttagging, parsing en lexiconanalyse. Als je geïnteresseerd bent, kun je hier meer over deze technieken lezen.

Hier is een eenvoudig voorbeeld van regelgebaseerde sentimentanalyse. 

Om de polariteit van een tekst te bepalen, moeten sentimentanalysetools deze eerst met behulp van NLP opsplitsen in afzonderlijke componenten, zoals woorden en zinnen. Vervolgens worden deze vergeleken met een database, ook wel een lexicon of sentimentbibliotheek genoemd, die is samengesteld uit een verzameling handmatig verzamelde en beoordeelde woorden en zinnen. 

Over het algemeen krijgen neutrale woorden en zinnen een score van nul. Woorden die duidelijk negatief zijn, krijgen een negatieve score en positieve woorden krijgen een positieve score. In een productbeoordeling zouden woorden en uitdrukkingen als slecht, teleurstellend, verschrikkelijk en afschuwelijk bij klantenservice bijvoorbeeld negatief worden beoordeeld, terwijl goed, geweldig, behulpzaam en nuttig positief zouden worden beoordeeld.

Het opbouwen van een sentimentbibliotheek en de bijbehorende regels is een uitgebreid proces. Men moet voorzichtig zijn bij het toekennen van een score aan elk woord en ook passende vergelijkingen maken. Het systeem moet bijvoorbeeld begrijpen dat “slecht” een negatief woord is, maar dat “afschuwelijk” nog negatiever is; “goed” is positief en “geweldig” nog positiever.

Het regelgebaseerde systeem kan snel worden gemaakt, maar is enigszins beperkt. Dit komt doordat het geen woorden kan herkennen die niet in de bibliotheek voorkomen en woorden niet in hun context kan analyseren, waardoor het moeilijk is om complexiteiten zoals sarcasme, homoniemen en polysemie te identificeren. De zin “noem je dat uitstekende klantenservice?” zou bijvoorbeeld gemakkelijk verkeerd kunnen worden geïnterpreteerd.

Regelgebaseerde systemen vergen ook veel inspanning om te onderhouden en bij te werken. Men moet voortdurend handmatig nieuwe regels toevoegen om gelijke tred te houden met de ontwikkeling van online taal. Het toevoegen van nieuwe regels brengt bovendien het risico met zich mee dat eerdere resultaten worden beïnvloed. 

Automatische sentimentanalyse

In plaats van te vertrouwen op een reeks handmatig gemaakte en bijgewerkte regels, worden automatische sentimentanalysesystemen getraind met behulp van machine learning-technieken. In dit geval verwijst machine learning naar algoritmen die diep leren gebruiken om telkens nauwkeuriger te worden wanneer ze op een obstakel stuiten, menselijke tussenkomst nodig hebben of feedback van gebruikers ontvangen. 

Het wordt technisch, maar hier volgt een vereenvoudigde versie van hoe het werkt.

1. Zoek een grote dataset die vergelijkbaar is met de gegevens die je wilt analyseren en label enkele voorbeelden. Dit wordt de trainingsdata. Je geeft het systeem geen regels, je geeft het voorbeelden.
   
2. Gebruik de trainingsdata om je machinelearningmodel te ontwikkelen. Dit bestaat uit classificatiealgoritmen zoals lineaire regressie, naïeve Bayes, support-vectormachines en RNN-afgeleiden LSTM en GRU. Zoals de naam al aangeeft, worden deze gebruikt om gegevens te classificeren (positief, negatief, blij, verdrietig, enzovoort). Als je geïnteresseerd bent, vind je hier meer informatie hierover.
   
3. Als je model werkt, zal het na te zijn gevoed met voldoende relevante gegevens in staat zijn om zelf voorspellingen te doen om eerder ongeziene gegevens te classificeren. Het heeft zijn eigen regels geïdentificeerd!
   
4. Blijf de nauwkeurigheid van deze modellen verbeteren door meer voorbeelden te geven.

Het voordeel van de automatische aanpak is dat deze zich kan aanpassen en modellen kan creëren die voor veel verschillende doeleinden en contexten zijn getraind.

We weten bijvoorbeeld dat het woord phoenix verwijst naar een mythische vogel en ook naar de stad Phoenix in Arizona. Een machinelearningalgoritme kan worden getraind om aan de hand van de context te bepalen welke betekenis van Phoenix wordt bedoeld wanneer het woord in een zin wordt gebruikt. Vervolgens kan het die ervaring gebruiken om vergelijkbare gevallen te herkennen.

Op dezelfde manier markeert een model “woke” (in de betekenis van ‘ontwaken’) als een neutraal woord. “Woke” is echter onlangs straattaal geworden voor “sociopolitiek bewust”, waardoor het een recent gevormd homoniem is. Zodra het algoritme deze feedback eenmaal heeft ontvangen, kan het die nieuwe kennis toepassen op elke volgende analyse. Het woord “woke” krijgt nu in bepaalde contexten een naar positief neigende score.

Geautomatiseerde methoden worden over het algemeen als superieur beschouwd. Het nadeel van een geautomatiseerde aanpak op basis van machine learning is echter dat deze afhankelijk is van gelabelde historische gegevens en enige tijd nodig kan hebben om te worden getraind. Bovendien zijn zeer deskundige datawetenschappers nodig om deze te ontwikkelen!

Hybride aanpak

Door natuurlijke taalverwerking te combineren met machinaal leren, wat een hybride aanpak wordt genoemd, wordt algemeen aangenomen dat de nauwkeurigheid van sentimentanalyse verbetert. Natuurlijke taalverwerking wordt gebruikt om het sentiment van woorden en woordsoorten te begrijpen. Machinaal leren wordt gebruikt om om te gaan met de voortdurende evolutie van taal, woorden in hun context te bekijken en complexe taalprocessen zoals homoniemen te doorgronden. 

Toepassingen van sentimentanalyse

Zoals gezegd is sentimentanalyse uiterst nuttig voor organisaties die willen weten hoe mensen over hen denken. Nu er voortdurend en overal ter wereld zoveel gegevens worden gecreëerd, kan sentimentanalyse je helpen om dit alles in realtime te begrijpen. 

Hier zijn enkele manieren waarop deze technologie al een verschil maakt:

Reageren op de klantervaring

Feedback over de klantervaring kan op natuurlijke wijze online worden verzameld (bijvoorbeeld vermeldingen op sociale media) of afkomstig zijn van feedback waar je zelf actief om vraagt. Hopelijk beschik je over een grote, gevarieerde dataset om mee te werken. Als dat zo is, kan het gebruik van sentimentanalysesoftware je helpen om snel veel terrein te bestrijken en waardevolle inzichten te bieden. Deze kunnen vervolgens worden gebruikt voor je inspanningen op het gebied van reputatiemanagement, om productinnovaties te informeren en de klantenondersteuning te verbeteren.

Concurrenten monitoren

Door het sentiment rond je concurrenten te monitoren, kun je een goed beeld krijgen van hun positie op de markt en die met je eigen positie vergelijken. Stel bijvoorbeeld dat je Twitter-vermeldingen voor 40 procent positief, 30 procent negatief en voor de rest neutraal zijn. Hoe weet je of dat goed of slecht is? Als je grootste concurrent bijvoorbeeld rond de 60 procent positief, 30 procent negatief en voor de rest neutraal scoort, moet je aan de slag. Als de sentimenten daarentegen voor 50 procent negatief zijn, weet je dat je het volgens de branchenormen goed doet. 

Werknemerservaring

Tot slot kan sentimentanalyse helpen bij het analyseren van gegevens die HR-teams gebruiken om te begrijpen wat werknemers tevreden maakt of waarom ze een bedrijf verlaten. Door veelvoorkomende klachten en problemen te identificeren, krijgen werkgevers bruikbare inzichten in manieren om personeelsverloop te verminderen en de prestaties van werknemers te verbeteren. Deze mogelijkheid is vooral nuttig voor bedrijven met veel werknemers, aangezien het management niet de tijd zou hebben om honderden personeelsleden individueel te spreken. 

Is sentimentanalyse nauwkeurig?

Aangezien een groot deel van de sentimentanalyse die wij als mensen uitvoeren subjectief is, is het onrealistisch om te verwachten dat een sentimentanalysetool 100 procent van de tijd nauwkeurig is. Datawetenschappers worden steeds beter in het ontwikkelen van nauwkeurigere sentimentclassificatiemodellen, maar er is nog een lange weg te gaan.

Wat zijn de grootste uitdagingen voor een sentimentanalysemodel? We hebben er al enkele genoemd; het zijn de problemen die sentimentanalyse voor mensen moeilijk maken. De meest voorkomende problemen zijn onder andere: 

• Sarcasme. Als je ooit tijd hebt doorgebracht in een commentaarsectie of een sms-bericht hebt ontvangen waarbij je niet zeker wist of de afzender het serieus bedoelde, weet je dat sarcasme in tekst moeilijk te beoordelen is. Bekijk de volgende twee situaties:

De trein is vandaag weer maar 30 minuten te laat. Fijn dat hij zo betrouwbaar is! 
De trein is vandaag weer maar 2 minuten te laat. Fijn dat hij zo betrouwbaar is!

Het is duidelijk dat de trein die 30 minuten te laat is niet betrouwbaar is, maar sentimentanalysesoftware kan moeite hebben om dat op te merken.

• Multipolariteit. Soms kan één zin positief spreken over het ene en negatief over het andere. Bijvoorbeeld: “Pepsi is veel beter dan Coke.” Deze zin weet met slechts zes woorden iets positiefs over Pepsi en iets negatiefs over Coke te zeggen. Een sentimentanalysesysteem zal deze zin waarschijnlijk niet nauwkeurig kunnen beoordelen zonder geavanceerdere programmering.

• Ontkenningen. Een ontkenning is wanneer je de betekenis van een woord of zin omkeert, zoals in: “Ik zou niet zeggen dat het eten goed was.” Wij mensen kunnen al moeite hebben om de betekenis van een zin met een ontkenning te achterhalen, dus het is niet verrassend dat sentimentanalysetools hier ook moeite mee kunnen hebben.

Conclusie 

Nu weet je alles over sentimentanalyse en hoe deze kan worden gebruikt om gegevens te analyseren en de mening van klanten over je merk te peilen. 

Sentimentanalysetools nemen veel werk voor je uit handen, maar het is altijd verstandig om een mens een aantal willekeurige voorbeelden van het werk te laten nakijken, om te controleren op zaken die machines moeilijk kunnen begrijpen. Sentimentanalyse is het meest effectief wanneer technologie en mensen nauw samenwerken.

Op zoek naar meer inzichten in de klantervaring? Abonneer je op de nieuwsbrief van The CX Lead.

Gerelateerd artikel: De 10 beste software voor klantenondersteuning voor mkb-bedrijven en ondernemingen