Hoeveel water en energie gebruiken onze chatbots?
Vrijwel iedere organisatie vangt vandaag de dag een deel van het klantcontactvolume op via een chatbot. En veel van die chatbots worden ondersteund door AI. Het is revolutionaire techniek en uitkomst voor de moderne klantenservice. Alleen, het draaiende houden van die chatbots en AI-modules is echter niet gratis. Elke zin die een chatbot genereert kost namelijk een aantal kWh aan stroom en een hoeveelheid koelwater, onderzocht de Volkskrant.
Verschuiving discussie
Het is een van de donkere kanten van kunstmatige intelligentie (AI): het trainen van de taalmodellen en het in de lucht houden van de bij het grote publiek populaire chatbots kosten grote hoeveelheden energie en water. Lang werd dit aspect van AI over het hoofd gezien. Over het algemeen lag de focus vooral op de positieve effecten die AI kan hebben op het wereldwijde energieverbruik. Zowel energiebedrijven als beheerders van datacentra benadrukten de waardevolle bijdrage van AI aan het optimaliseren van vraag en aanbod.
Recentelijk heeft de politiek echter ook oog gekregen voor de keerzijde van de medaille. De Europese AI-wet legt nu eisen op aan de ontwikkelaars van AI-systemen. Zij dienen gedetailleerde informatie te verstrekken over de energieconsumptie, zowel tijdens de training van de systemen als tijdens het gebruik door klanten. Bepaalde Nederlandse politieke partijen, zoals GroenLinks-PvdA, Volt en D66, hebben eveneens aandacht voor het energieprobleem van AI. D66 wijst in haar laatste partijprogramma op de afhankelijkheid van grote hoeveelheden elektriciteit, stroom en eindige grondstoffen door AI.
Waterverbruik OpenAI
Over wat voor hoeveelheden praten we? Een antwoord is nog niet zo eenvoudig te krijgen, wat te maken heeft met het gesloten karakter van AI-modellen en het gebrek aan transparantie bij de uitbaters ervan. Veel komt dus aan op schattingen, aannames en benaderingen. De Volkskrant dook recentelijk in de cijfers en kwam tot interessante inzichten.
‘Taalmodellen zoals ChatGPT gebruiken wel degelijk water, ondanks dat het volledig digitaal is. Dat zit hem in de computers (servers) in datacentra waarop de software draait. Elke vraag aan ChatGPT kost rekenkracht van servers. Om oververhitting te voorkomen moeten die worden gekoeld, op warme dagen meer dan op koude.’
‘Taalmodellen gebruiken op twee manieren water voor het koelen van servers. Eerst worden ze getraind op enorme hoeveelheden tekst. Dat kost enorme hoeveelheden rekenkracht. Minder computerinspanning kost het om een vraag te beantwoorden van een gebruiker, dan is het model immers al getraind.’
Het toenemende waterverbruik van grote technologiebedrijven, in lijn met de groeiende populariteit en het gebruik van taalmodellen, wordt duidelijk uit de gepubliceerde cijfers van deze bedrijven. Bijvoorbeeld, het waterverbruik van Microsoft steeg in 2022 met 34 procent ten opzichte van 2021, tot meer dan 6,4 miljard liter. Gedurende dezelfde periode nam het waterverbruik bij Google toe met 20 procent. Veel van de servers waarop de programma’s van OpenAI draaien, waaronder ChatGPT, behoren toe aan Microsoft.
Trainen van GPT-modellen
Volgens een studie van Shaolei Ren, een onderzoeker aan de Universiteit van Californië, is er ongeveer een halve liter koelwater nodig voor elke vijf tot vijftig vragen aan ChatGPT, afhankelijk van de locatie van de servers en het seizoen. Deze schatting omvat indirect watergebruik, zoals het koelen van energiecentrales die zorgen voor de stroomvoorziening van datacentra, zo schrijft de Volkskrant.
Het trainen van modellen vergt ook aanzienlijke waterbronnen. In het geval van GPT-3, een van de versies van het taalmodel achter ChatGPT, wordt geschat dat dit minimaal 700 duizend liter water kost, met schattingen die oplopen tot vijf keer zoveel: 3,5 miljoen liter. Deze laatste schatting zou genoeg water zijn om 75 Nederlanders een jaar lang van drink-, douche- en wc-water te voorzien, of om een kleine vierduizend tuinen een jaar lang te besproeien. OpenAI heeft ondertussen ChatGPT-3.5 en ChatGPT-4 uitgebracht, die hoogstwaarschijnlijk nog meer water nodig hebben voor hun training, gezien hun grotere omvang ten opzichte van hun voorganger.
In juli 2022, de maand waarin OpenAI aankondigde dat GPT-4 was getraind, heeft het bedrijf naar verluidt 43,5 miljoen liter water in de datacentra in Des Moines, Iowa gepompt, volgens informatie van de Des Moines Water Works. De stad overweegt sinds vorig jaar toekomstige dataprojecten alleen goed te keuren als Microsoft piekbelasting van het waternetwerk kan voorkomen of verminderen, aldus Des Moines Water Works.
Energieverbruik Bard en ChatGPT
Niemand is beter op de hoogte van het energieverbruik van hun modellen dan de partijen die uiteindelijk de rekening moeten betalen, schrijft de Volkskrant. Het probleem, zoals uiteengezet door Luís Cruz, een onderzoeker aan de TU Delft, is dat bedrijven zoals Google of OpenAI niet openbaar maken hoeveel computerkracht en dus energie er nodig is om hun zogenaamde LLM’s (Large Language Models) te trainen. Deze LLM’s, die de basis vormen voor producten als Bard of ChatGPT, zijn de afgelopen jaren aanzienlijk in omvang toegenomen. De veronderstelling is dat hoe groter het model is, hoe beter de prestaties zijn.
De omvang van deze modellen wordt gemeten in het aantal parameters, de interne verbindingen binnen het model waarmee het patronen leert op basis van trainingsdata. In eenvoudige bewoordingen is het de hoeveelheid ‘knoppen’ waarmee het programma kan draaien om een goede tekst of afbeelding te genereren. In vijf jaar tijd is het aantal parameters van LLM’s gegroeid van ongeveer honderd miljoen naar 500 miljard, zoals bij het taalmodel PaLM van Google.
Hoewel concrete cijfers over CO2-uitstoot van marktleiders ontbreken, hebben onafhankelijke onderzoekers in de afgelopen jaren verschillende studies uitgevoerd. In 2019 schatten onderzoekers van de Universiteit van Massachusetts dat het trainen van een LLM gelijkstaat aan de uitstoot van 280 ton CO2, wat overeenkomt met wat 15 Nederlandse huishoudens in een jaar uitstoten.
Sindsdien zijn de modellen alleen maar groter geworden, en recentere schattingen wijzen op veel hogere uitstoot, zoals 500 ton CO2 voor GPT-3. Onderzoeker Cruz verwacht minstens dit niveau voor GPT-4, dat weer groter is dan zijn voorganger.
Energieverbruik genereren tekst
Naast het waterverbruik blijft het hier niet bij. Wanneer het systeem eenmaal is getraind, wordt het daadwerkelijk in gebruik genomen door klanten. Op dat moment zal de energie die de AI-tool nodig heeft om zijn werk te doen over het algemeen vergelijkbaar zijn met die tijdens de training, aldus Cruz. Als een tool, zoals ChatGPT, viraal gaat, stijgt het totale energieverbruik natuurlijk aanzienlijk.
Wat duidelijk is, is dat de interactie met een chatbot veel meer energie kost dan een ouderwetse zoekopdracht via Google. Zowel Sam Altman van OpenAI als het moederbedrijf Alphabet van Google noemen de hoge kosten die gepaard gaan met het converseren met ChatGPT. Recente studies van AI-start-up Hugging Face en de Carnegie Mellon Universiteit bieden gedetailleerd inzicht in het energieverbruik wanneer iemand daadwerkelijk een chatbot of ander AI-programma gebruikt. Zo zou een programma als ChatGPT ongeveer 0,042 kWh energie verbruiken per duizend vragen, wat vergelijkbaar is met een ledlamp die zeven uur lang brandt.
Het genereren van tekst blijkt veel minder energie-intensief te zijn dan het maken van AI-afbeeldingen, volgens dezelfde studie. Het laatste kost 1,35 kWh per duizend afbeeldingen, wat 32 keer zoveel is als het genereren van tekst. Een AI-afbeelding staat daarmee gelijk aan één keer een mobiele telefoon opladen.
Meer over AI en chatbots in klantcontact? Lees dan eens onderstaand artikel!