Het beoordelen van beweringen over AI en productiviteit in de publieke sector.

Het rapport identificeert 7 kritieke zwaktes in hoe productiviteit van AI wordt gemeten en wordt verkocht aan beleidsmakers. Deze punten uit de samenvatting zijn vertaald hier opgenomen:

1)      De meeste onderzoeken meten slechts de eerste orde effecten, zoals tijdsbesparing of kostenreductie, en niet de uitkomsten die van belang zijn voor de maatschappelijke waarde – zoals betere dienstverlening, meer gelijkheid, verbeterde ervaringen voor burgers, versterkte institutionele capaciteit of verbeterd welzijn van werknemers.

2)      De productiviteitscijfers houden zelden rekening met de volledige kosten en afwegingen. De vraag of AI-interventies waar voor hun geld bieden, kan alleen worden beantwoord door een analyse van hoeveel de technologie kost gedurende de levensduur van het gebruik. Dit wordt echter niet altijd meegenomen in de berekening van de verwachte productiviteitswinst. Het is ook de moeite waard om de alternatieve kosten van het prioriteren van AI-investeringen te overwegen – met andere woorden, wat had er anders gefinancierd kunnen worden met dezelfde middelen.

3)      Betrokennen ontbreken in de onderzoeken. De mensen die deze instrumenten zullen gaan gebruiken en die verschuivingen in de publieke dienstverlening zullen gaan ervaren, worden zelden betrokken bij het formuleren van onderzoeksvragen of het interpreteren van de bevindingen.

4)      Methodologische zwakheden worden gesystematiseerd met beperkte triangulatie. Taakautomatiseringen die gebruikmaken van beroepsdatabases, gaan uit van gelijke weging van alle taken, en ze gebruiken LLM's om LLM-vaardigheden te beoordelen, ondanks de aanzienlijke zwakheden van deze methoden. In veel onderzoeken is er beperkte collegiale toetsing en/of triangulatie tussen methoden. 

5)      Cijfers in de krantenkoppen verhullen het gemengde bewijsmateriaal. Schattingen van de productiviteit lopen sterk uiteen, maar de spreiding wordt zelden erkend. Positieve bevindingen halen de krantenkoppen, terwijl tegenstrijdige bevindingen – waaronder prestatieverminderingen bij bepaalde taken, tijdsverhogingen voor specifieke groepen en geen tastbare impact op de inkomsten – veel minder aandacht krijgen.

6)      De industrie bepaalt vaak wat er onderzocht wordt en hoe de resultaten worden geïnterpreteerd. Wanneer AI-bedrijven onderzoek financieren, samenwerken met denktanks, hun eigen rapporten publiceren en eigen tools gebruiken om te bepalen welke taken AI kan uitvoeren, is de bewijsbasis wellicht niet onafhankelijk. Dit betekent niet dat al het onderzoek dat nauw verbonden is met de industrie waardeloos is, maar wel dat bevindingen met de nodige scepsis moeten worden bekeken.

7)      De volgende stap – evalueren of projecties zich vertalen naar de praktijk – wordt zelden gezet. Of technologieën hun beloftes waarmaken, hangt af van de institutionele context, inclusief hoe veranderingen worden beheerd, de vaardigheden van het personeel en andere factoren die van invloed zijn op het personeelsbestand. Huidige projecties houden zelden rekening met deze complexiteit.

Er zijn verschillende veranderingen nodig om toekomstig onderzoek en beleidsbeslissingen op een sterkere bewijsbasis te baseren. Studies naar AI in de publieke sector zouden het volgende moeten omvatten:

• Houd rekening met onzekerheid. Onderzoek naar de productiviteit van AI moet onzekerheid erkennen in plaats van valse nauwkeurigheid te projecteren. Dit betekent dat er gerapporteerd moet worden over bereiken en variatie, niet alleen over de belangrijkste cijfers, en dat er een holistische beoordeling moet worden gemaakt van waar AI helpt, waar het hindert en waar de effecten verwaarloosbaar zijn.
   
• Meet wat ertoe doet, niet alleen wat gemakkelijk te kwantificeren is. Dit betekent het bijhouden van servicekwaliteit, foutpercentages, gebruikerstevredenheid, gelijke toegang en institutionele capaciteit, naast tijd- en kostenindicatoren. Het betekent ook actief overwegen hoe kosten en baten maatschappelijk verdeeld zijn. Idealiter zou dit inhouden dat implementaties over langere tijdshorizonten worden gevolgd, niet slechts over weken, om te zien of de aanvankelijke winsten aanhouden of verdwijnen.
   
• Omarm methodologische pluralisme. Onderzoek naar AI-productiviteit moet meerdere benaderingen combineren in plaats van op één enkele methode te vertrouwen.
   

• Erken de contextspecificiteit. Productiviteitseffecten zijn sterk afhankelijk van de omgeving waarin die tools worden ingezet. Dezelfde technologie kan in de ene organisatie tijd besparen, terwijl ze in een andere juist extra lasten creëert, afhankelijk van de bestaande workflows, data-infrastructuur, organisatiecultuur, personeelsvaardigheden en implementatieaanpak.

   

Voor beleidsmakers en besluitvormers die beweringen over de productiviteit van AI evalueren, bieden de vragen in dit rapport aanknopingspunten. Deze vragen helpen bij het overwegen van factoren zoals wie het onderzoek heeft gefinancierd, welke aannames aan de schattingen ten grondslag liggen, hoe de resultaten zijn gevalideerd en welke variatie er bestaat tussen groepen of taken. Al deze factoren kunnen helpen bij het vormgeven en richten van beleidsinterventies.

We kunnen de toekomst van publieke diensten niet baseren op ongetoetste methoden, onrealistische prognoses en tegenstrijdig bewijsmateriaal. De publieke sector moet zijn beslissingen en meetmethoden baseren op onafhankelijk onderzoek, afkomstig uit een diverse kennisbasis en vrij van gevestigde belangen (We need better evidence about AI in public services — Our AI Collective).

Wil je meehelpen aan het werken aan een nuchter perspectief op AI? Wordt lid van de werkgroep Nuchter perspectief op kunstmatige intelligentie | Onderwijsnetwerk digitalisering