Anouck onderzoekt chatbots: ‘Onder de motorkap zie ik soms goede dingen, maar zie ook wat er fout gaat’
Sinds 2020 is het gebruik van AI in customer service gestegen met 88 procent, bijvoorbeeld in chatbots. Anouck Braggaar doet aan Tilburg University onderzoek naar chatbots in klantenservice. ‘Ondanks de evolutie van de chatbot, moeten chatbots nog leren om foutvrij te werken’, schrijft ze in een van haar onderzoeken.
Wat trekt je zo aan in de werking van chatbots?
“Er gaat een wereld achter schuil die veel groter is dan ik vooraf kon bedenken. Techniek en communicatie komen er samen. Voordat ik mijn onderzoek startte, kende ik chatbots vooral als consument. Maar er zit verschillende lagen achter van het bedrijf dat de chatbot heeft geïmplementeerd.”
Je startte in 2021 als PhD-student in Tilburg. Je onderzoek eindigt in 2025. Wat onderzoek je?
“De kern van mijn vierjarige onderzoek richt zich op hoe mensen de werking van chatbots evalueren. Er zijn steeds meer chatbots en ze worden alsmaar beter. Maar er is nog niet echt een eenduidige manier voor het evalueren van zulke systemen. En die is waardevol, wil je weten hoe iets werkt en het kunnen verbeteren.”
Een van jouw deelonderzoeken richt zich op herstelstrategieën bij chatbots. Wat kwam daaruit?”
“We onderzochten hoe mensen reageren op drie soorten herstelstrategie: doorzetten (defer), waarbij de chatbot de klant doorverwees naar een menselijke medewerker, herhalen (repeat), waarbij de klant de vraag nog eens moest stellen, en als derde opties, een keuzemenu voor het vervolg van het gesprek. Dat deden we op basis van honderd klantgesprekken bij een Nederlandse openbaarvervoerder.”
“De meest voorkomende strategie is doorzetten, gevolgd door herhalen. Doorzetten scoorde het hoogst in termen van vertrouwen en merkattitude, gevolgd door opties en herhalen. De herstelstrategieën doorzetten en opties werden door de deelnemers het meest gewaardeerd. Opvallend is dat er eigenlijk geen grote verschillen zijn in voorkeur van klanten voor een herstelstrategie. Dat zou kunnen komen omdat de gesprekken die we voor het onderzoek gebruikten allemaal tot een goed einde zijn gebracht.”
Wat kunnen gebruikers (klanten) beter doen in hun contact met chatbots?
“In ons onderzoek zien we duidelijk dat mensen te veel informatie geven aan een chatbot. Ze overvragen hem, gaan ervanuit dat ie al onze input begrijpt.”
We zien de chatbot als een mens?
“Dat zou je daaruit kunnen opmaken. Ik kan me ook voorstellen dat niet iedereen altijd doorheeft dat hij of zij met een chatbot praat. Daarnaast zien sommige mensen een chatbot als een voorportaal van contact met een echte medewerker. Die denken: ik typ gewoon het hele verhaal en dan komt er zo wel een medewerker die ernaar kijkt.”
Je richt je in dit onderzoek op klassiekere chatbots, van voor de GenAI- en ChatGPT-hype. Hoe relevant is je onderzoek nog, als GenAI de nieuwe norm lijkt te worden?
“Die vraag krijg ik vaker. Maar ik zie dat veel organisaties nog gebruikmaken van de klassieke rulebased chatbots van voor GenAI. Veel bedrijven lijken nog terughoudend om een GenAI-chatfunctie volledig in te zetten. Bijvoorbeeld omdat AI weleens een fout kan maken. En juist die fouten worden breed uitgemeten in de media. Maar GenAI is inmiddels wel een steeds grotere factor in onze onderzoeken.”
Kun je zeggen dat er voor chatbots een wereld voor en na GenAI is?
“Ja, dat zie ik vooralsnog vooral terug in de beleving van de consument. Omdat de mogelijkheden van AI nu onder een veel groter publiek bekend zijn, hebben klanten hogere verwachtingen van dit soort systemen. Ze verwachten dat het werkt als ChatGPT, terwijl ze eigenlijk nog praten met een systeem dat werkt op basis van een beslisboom.”
Zien bedrijven ook de waarde van jullie onderzoek?
“Ja hoor, In mijn vierjarige onderzoek zet ik bijvoorbeeld meer dan 120 onderzoeken op een rij. Dat vinden bedrijven interessant, want ze nemen zelf geen tijd om al die onderzoeken door te spitten. Aan de andere kant is het ook lastig om de link met het bedrijfsleven te maken. Zij gaan vaak sneller dan wij, bijvoorbeeld omdat wij ons aan allerlei onderzoeksregels moeten houden.”
Wat kun je zeggen over de kwaliteit van chatbots?
“Die is wisselend. Ik kom goede voorbeelden tegen waarin het technisch goed is ingeregeld. Dan kijk ik onder de motorkap en denk ik: hebben ze goed gedaan. Maar het gebeurt ook regelmatig dat als ik mensen vertel dat ik chatbots onderzoek, dat ze meteen met een verhaal komen waarin het bij hen fout ging. Daaruit maak ik op dat er nog veel te verbeteren is. Dat zit misschien niet altijd in de technische kant, maar ook in hoe je iets oplost als het misgaat. Wat doe je als de chatbot vastloopt in zichzelf? Wat doe je dan om die klant naar je toe te halen om toch voor een oplossing te zorgen.”
Anouck Braggaar
Studeerde informatiekunde en Nederlands aan de Rijksuniversiteit Groningen. Deed daar haar master taalwetenschappen waarin ze zich vooral richtte op computationele linguïstiek. Na haar studie ging ze aan de slag als PhD-studente aan de Tilburg University. Daar onderzoekt ze hoe chatbots kunnen worden verbeterd.
