Gartner’s Magic Quadrant over Conversational AI: magie of gegoochel?
Gartner behoort wereldwijd tot de meest invloedrijke onderzoeks- en adviesbureaus op het gebied van technologie en digitalisering. Vooral de zgn. ‘Magic Quadrants’ gelden voor veel organisaties als een belangrijke kennisbron bij de selectie van softwareleveranciers. In deze Magic Quadrants worden leveranciers beoordeeld op hun uitvoeringskracht (Ability to Execute) en toekomstvisie (Completeness of Vision), wat resulteert in vier categorieën oftewel kwadranten: Leaders, Challengers, Visionaries en Niche Players.
Met het Magic Quadrant voor Conversational AI erkent Gartner dat de markt voor AI toepassingen volwassen genoeg is voor een structurele vergelijking van aanbieders. Daarbij kijkt het bureau niet alleen naar de kwaliteit van AI-modellen, maar ook naar factoren als governance, beveiliging, innovatie, ecosysteem en geschiktheid voor grootschalige zakelijke toepassingen.
Gartner benadrukt echter dat de ranglijst geen universeel koopadvies is: de beste leverancier hangt af van de specifieke wensen en eisen van een organisatie.
Stevige kritiek op opvallende keuzes
Ondanks die bijsluiter stuitte het rapport op stevige kritiek. Wayne Butterfield, oprichter van het Amerikaanse niche-adviesbureau STX, noemde in een veelbesproken LinkedIn-post diverse opvallende keuzes. Zo begrijpt hij niet waarom partijen als Salesforce en SoundHound als ‘Leaders’ zijn aangemerkt, terwijl volgens hem sterke spelers als Rasa, Parloa en Decagon slechts als ‘Honorable Mention’ worden genoemd of helemaal ontbreken. Zijn bericht leidde tot honderden reacties vanuit de markt.
In een interview met CX Today licht Butterfield zijn kritiek verder toe. Volgens hem is het rapport niet representatief, omdat slechts een beperkt deel van de beschikbare leveranciers is beoordeeld en de beoordelingsmethodiek onvoldoende transparant is. Organisaties zouden een Magic Quadrant daarom nooit als enige basis moeten gebruiken voor een leverancierskeuze, maar meerdere moeten bronnen raadplegen en daarbij vooral kijken naar de kwaliteit van de implementatiepartner en de samenwerking.
Verder bepaalt volgens Butterfield de implementatie uiteindelijk veel meer het succes van een AI-project dan de technologie zelf. Hij pleit er daarom voor dat Gartner toekomstige rapporten laat toetsen door onafhankelijke praktijkexperts en meer openheid geeft over de gehanteerde beoordelingscriteria.
Reacties Nederlandse AI experts
We vroegen een aantal Nederlandse autoriteiten op het gebied van AI of de kritiek op het Conversational AI Magic Quadrant van Gartner terecht is:
- Tinky Bart, CEO bij TKC digital
- Casper van den Broek, Partner bij Studio Winegum
- Dirk Jan Dokman, CCO bij weWow
- Serge Poppes, CEO van Sprinklr-reseller Pegamento
- Hans Reuver, Algemeen Directeur bij Frontline Solutions
Tinky Bart:”Er ontbreken altijd spelers en vaak zijn de spelers niet 1-1 vergelijkbaar”
Het feit dat er een MQ is voor conversational AI zie ik als erkenning voor de technologie en een stap voorwaarts. Het geeft aan dat de betreffende technologie belangrijk genoeg is voor een eigen kwadrant.
Gartner wordt veel gebruikt ter verkenning van technologie en om spelers met elkaar te vergelijken. Daar ontbreken altijd spelers én vaak zijn de spelers niet 1-1 vergelijkbaar. Sommige bieden een “best of breed” oplossing, anderen een “best of suite” en een aantal spelers lift mee als gevolg van een acquisitie.
Ik bestudeer Gartner rapporten altijd op basis van de spelers en de criteria waarmee de vergelijking wordt gemaakt. Dat helpt mij om mijn eigen oordeel te maken. Want in dit geval is de ene conversational AI is de andere niet. Daarvoor moet je de concepten in de technologie snappen en goed kunnen doorvragen als je een leverancier spreekt om te ontdekken wat al werkt en wat (nog) niet. En natuurlijk moet je weten welke strategie je wilt ondersteunen en/of welk probleem je wilt oplossen.
Verder vind ik dat je de markt en de spelers goed in de gaten moet houden, ook de partijen die niet voorkomen in het kwadrant, want zoals gezegd: er ontbreekt altijd een aantal. De toppers daarvan zijn de kanshebbers voor de volgende uitgave.
Dus lees het rapport goed en kritisch door en blijf logisch nadenken. Iedereen heeft zijn stokpaardjes, aan ons de eer om scherp te blijven en kan niet alleen vast te pinnen op een rapport van Gartner.
Casper van den Broek:“Neem elk Gartner quadrant met een korrel zout”
Iedereen in de business kent de Gartner Magic Quadrant, en de nuance die erachter zit. Die begint al bij de eerste keuze: van de 650+ tools op de markt selecteert Gartner er 14. Dat is 2% van de markt. Een stevige knoop om al bij stap één door te hakken.
Dan komt de “objectieve” beoordeling. Die is zo sterk als de kennis en ervaring van de analist, en daar zit het gat. Analisten beoordelen op basis van wat de leverancier zelf aanlevert, niet op eigen praktijkervaring of beoordelingen van gebruikers.
Neem elke Gartner quadrant dus met een korrel zout. Gebruik hem als lichte inspiratie bij je voorselectie, en loop daarna je eigen RFI of RFP uit voor de echte match.
Voor de Conversational AI MQ geldt dat des te meer. Kijk naar alle ophef in de markt: iedereen lijkt te weten en actief uit te spreken dat hier extra korrels zout nodig zijn.
Dirk Jan Dokman:“Foto van gisteren, verkocht als kompas”
Een Magic Quadrant voor conversational AI is achterhaald op het moment dat het gepubliceerd wordt. De markt beweegt sneller dan Gartner kan meten, dus wat je koopt is een foto van gisteren, verkocht als kompas.
Erger nog: het rapport mist de partijen die er in Europa toe doen. Sierra, Fin (het vroegere Intercom), GetVocal en anderen ontbreken, terwijl Salesforce en SoundHound als Leader worden gekroond. Ondertussen specialiseert de markt zich per branche, bedrijfsgrootte en land: Sienna en Ada domineren bij Shopify, Lleverage bij de maakindustrie.
In Nederland doen CM.com’s Halo, Freeday, Neople en Engaige het prima. Eén ranglijst die dat in vier vakjes probeert te proppen, negeert precies wat er toe doet.
Daarom kiest weWow nooit voor een platform, maar voor het probleem. We draaien op het platform van de klant, of curateren welk platform het beste past. Implementatie en onderhoud bepaalt het succes, niet de tool.
Serge Poppes:“waardevolle inzichten maar geeft onbedoeld een verkeerde richting”
De kritiek op Gartner’s weer een nieuwe Magic Quadrant is deels terecht, maar raakt een fundamenteler punt. Voor de goede order Pegamento werkt met Sprinklr en is zelf Gartner-lid; juist daarom nemen wij deze rapporten serieus. Meer transparantie over criteria is wenselijk, maar belangrijker is de samenhang tussen de verschillende onderzoeken.
Quadrants over Conversational AI, Voice of the Customer, CCaaS routering, chat bot, voice bot etc etc. kunnen onbedoeld het beeld creëren dat organisaties hun architectuur vooral als een verzameling losse ‘best-of-breed’-oplossingen moeten inrichten volgens Gartner. Dat leidt vaak tot torenhoge technische integratiekosten, versnipperde verantwoordelijkheid en gefragmenteerde besluitvorming en laten we eerlijk zijn een waardeloze customer journey en -service.
Technologiekeuze alleen bepaalt echter zelden het succes. De doorslag ligt bij de kwaliteit van de implementatie, het vermogen om processen, data en kanalen te verbinden en vooral bij de samenwerking tussen klant en leverancier. Juist dat laat zich moeilijk in een quadrant vangen.
Gartner biedt waardevolle inzichten maar geeft onbedoeld een verkeerde richting, en de uitwerking is dat organisaties een analytisch model belangrijker vinden dan de praktische uitvoerbaarheid en gezamenlijke veranderkracht
Hans Reuver:“juiste use cases kiezen, adoptie binnen de organisatie stimuleren en oplossing zorgvuldig implementeren”
“Kritiek op het ‘magische’ Gartner-kwadrant is niet nieuw. Die richt zich vooral op de vaak bediscussieerde onafhankelijkheid van Gartner, het voordeel voor grote, veelal Amerikaanse leveranciers ten opzichte van innovatieve niche spelers en de beperkte transparantie over de wegingen. Bovendien test Gartner producten niet zelf. In de snel veranderende AI-markt is een jaarlijkse beoordeling naar mijn mening snel achterhaald. Bij Conversational AI is de leverancierskeuze bovendien slechts één succesfactor. Waarde ontstaat vooral door de juiste use cases te kiezen, adoptie binnen de organisatie te stimuleren en de oplossing zorgvuldig te implementeren. Ook een betrouwbaar en actueel kennismanagementsysteem is cruciaal: zonder kwalitatieve kennis kan zelfs de beste AI-oplossing geen consistente, waardevolle antwoorden geven. Mijn advies is dat organisaties er goed aan doen om het Magic Quadrant hooguit als vertrekpunt te gebruiken en hun keuze te onderbouwen met aanvullende bronnen, praktijkreferenties, een proof of concept en de kwaliteit van de implementatiepartner.”
Conclusie
De introductie van een Magic Quadrant voor Conversational AI onderstreept dat deze technologie volwassen is geworden en een vaste plaats heeft veroverd in de tech-stack van een klantcontact afdeling. Tegelijkertijd laten zowel de internationale kritiek als de reacties van Nederlandse experts zien dat organisaties het rapport vooral als vertrekpunt moeten beschouwen, niet als eindstation.
De keuze voor een AI-platform wordt uiteindelijk veel minder bepaald door een positie in een kwadrant dan door de kwaliteit van de implementatie, de aansluiting op de eigen processen en de expertise van de implementatiepartner. In een markt die zich razendsnel ontwikkelt, blijft kritisch vergelijken, zelf testen en verder kijken dan één onderzoeksrapport, de beste route naar een succesvolle AI-strategie.
