De inzet van betrouwbare en transparante AI binnen de overheid

De vraag hoe je verantwoord omgaat met nieuwe technologieën zoals AI en machine learning, krijgt sinds de toeslagenaffaire steeds meer aandacht. Alleen wordt er nog weinig actie ondernomen, en wordt er vooral veel gepraat, ziet Hilary Richters die verantwoordelijk is voor het Digital Ethics Team binnen Deloitte. 'De vervolgstappen blijven hangen, al is dat deels verklaarbaar', zegt Richters. 'Sommige organisaties wachten op regelgeving, andere vinden het complex of hebben het nog niet hoog genoeg op de prioriteitenlijst staan.'

AI-expert Evert Haasdijk die Deloitte’s AI Center of Expertise leidt, herkent deze ontwikkeling en wijt die vooral aan de toenemende en weinig concrete regelgeving. Neem de voortgangsrapportage aan de Tweede Kamer van 10 juni dit jaar, zegt Haasdijk. 'Daarin wordt een hele reeks handreikingen en normenkaders vermeld waaronder de Code Goed Digitaal Bestuur, en een pilot van het algoritmeregister waarin een overzicht van de inzet van algoritmen bij de overheid komt, zoals in Amsterdam al wordt gebruikt. Maar denk ook aan de EU-regelgeving of SAFEST van DNB over het ethisch verantwoord gebruik van AI bij financiële instellingen. Haasdijk: 'Er zijn inmiddels vele stukjes regelgeving en handreikingen, maar vaak is er niet duidelijk wat voor wie van toepassing is en waar je precies aan moet voldoen.'

Een andere belangrijke ontwikkeling die Richters en Haasdijk in Nederland waarnemen is dat de burger, mede door de toeslagenaffaire weliswaar vraagt om eerlijke algoritmes, maar dat diezelfde burger vaak niet goed kan definiëren hoe zo'n eerlijk algoritme er dan uitziet. 'Het kennisniveau op dit vlak is zowel bij de overheid als bij de burger beperkt', stelt Richters. 'Als je kijkt wat mensen zoal op sociale media delen zonder besef van de impact ervan, of wat er op internet voor waarheid wordt aangenomen terwijl niet duidelijk is hoe beïnvloedbaar al die nieuwe technologieën zijn, dan is er nog een wereld te winnen.' Daarvoor hebben we elkaar volgens Richters hard nodig. 'Overheid, burgers, maar ook de private sector moeten AI laten werken voor iedereen, in lijn met de democratische waardes die wij belangrijk vinden als mens en als maatschappij.'

Je kunt ethiek niet overlaten aan de datawetenschapper

De rol van het senior management

Volgens Haasdijk speelt er bovendien nog een ander belangrijk aspect los van de techniek zelf. 'Het probleem van de toeslagenaffaire heeft voor een groot deel te maken met de hardvochtigheid waarmee die regels zijn geïmplementeerd. Er was een model dat een uitkomst gaf over een bepaalde groep burgers, en dat was reden om het deze mensen ongelooflijk moeilijk te maken.' Volgens Haasdijk gaat het in zulke gevallen dan ook niet om de vraag welke techniek daarvoor is gebruikt en of de modellen robuust waren en op de juiste manier werden ingezet. 'Het probleem is dat er een algocratie kan ontstaan waarbij de uitkomst van zo'n algoritme aanleiding is om de menselijke maat compleet los te laten.' Het is volgens Haasdijk daarom van groot belang dat in iedere organisatie de verantwoordelijkheid voor die algoritmen en beslissingen helder is belegd op senior niveau. 'Elke digitale oplossing is een uiting van het beleid van het senior management, dus alles wat er misgaat zegt iets over de kennis en kunde van het senior management als het gaat om het gebruik van data en technologie', zegt Richters in aanvulling hierop. 'Als het gebruik van data en technologie niet goed wordt beschreven in je strategie en beleid, niet goed wordt geborgd via trainingen, human-in-the-loop of andere tools, en er geen richtlijnen zijn over wat je wel en niet ethisch verantwoord vindt, dan gaat het vanzelf een keer fout.'

De vraag of je ethische beslissingen met behulp van een computersysteem wilt nemen, wordt nu vaak bepaald door datawetenschappers, ziet Haasdijk. 'Dat kan niet, want de ethische overwegingen die aan zo'n beslissing ten grondslag liggen, liggen bij het senior management. Zij moeten daarvoor opgeleid zijn, en de training en het bewustzijn hebben om daarin eerlijke en verantwoorde keuzes te maken. De datawetenschapper kan vervolgens uitleggen wat er mogelijk is.' Overigens komen Richters en Haasdijk ook (overheids-)organisaties tegen die hierin juist vooroplopen, omdat die het een prioriteit hebben gemaakt dat ze op dit gebied anderen geen schade berokkenen. Richters: 'Deze voorlopers erkennen dat zij de kennis en kunde zelf niet in huis hebben en ze nemen vervolgens mensen aan op digital ethics en AI.'

Richters en Haasdijk krijgen regelmatig de vraag of er niet een checklist is waaraan je als organisatie moet voldoen. 'Maar dat is juist met deze nieuwe technologieën niet mogelijk', zegt Richters. 'Het gaat over normen en waarden, en over de hele context waarin de technologieën worden uitgerold. Als je die context niet goed managet, gaat het mis. De grote uitdaging voor organisaties is om te leren om daarin zelf keuzes te maken, dat is een nieuwe manier van werken, van rule-based naar principle-based.' Het zijn zaken waar Richters en Haasdijk in hun dagelijkse praktijk veel advies over geven. Enerzijds helpen ze klanten om op verantwoorde wijze modellen te bouwen, maar ze schrijven ook strategieën, principes, frameworks en beleid. Ook geven ze (dilemma)trainingen en denken ze mee over het bestuur eromheen.' Richters: 'Niet door iets compleet nieuws op te zetten, maar door de huidige processen en systemen met deze kennis te verrijken.'

Breng de AI-modellen in je organisatie in kaart

Er is daarentegen ook van alles waar organisaties zelf mee kunnen starten. 'Begin ermee in kaart te brengen hoeveel AI-modellen er binnen je organisatie draaien', adviseert Haasdijk. 'Dit hebben we onder meer voor een grote bank gedaan waarbij we op duizenden modellen uitkwamen. Een enorm aantal dat henzelf verraste, maar dat geeft meteen een idee hoe wijdverbreid de modellen onderdeel zijn van de organisatie.' En stel jezelf scherpe vragen, adviseert Richters. 'Vraag jezelf bijvoorbeeld of je op het achtuurjournaal zou kunnen uitleggen waarom jouw organisatie een bepaalde AI-oplossing gebruikt, waaraan die bijdraagt, en hoe je hebt vastgelegd welke keuzes daarin zijn gemaakt. Lukt je dat niet, vraag dan hulp.'

In lijn met dit advies raadt Richters bovendien aan om op te schrijven wat digitale oplossingen wel en niet mogen doen. 'Je zou er simpelweg mee kunnen beginnen op een bierviltje. Het belangrijkste is dat je al je stakeholders in gedachten houdt, zoals de maatschappij, je klanten, leveranciers en medewerkers. Bedenk vervolgens wat je belangrijke principes vindt. Bedrijven hebben veelal wel een code of conduct, maar de factor technologie en alle stakeholders worden daarin vaak onvoldoende meegenomen.'

Een derde advies heeft te maken met de kennis en kunde bínnen organisaties. 'Om het verantwoord en ethisch gebruik van data en technologie te borgen, zal je binnen je organisatie iemand moeten aanwijzen die hiervoor verantwoordelijk is', stellen Richters en Haasdijk. Richters: 'Denk daarbij aan de kennis en bewustwording op senior managementniveau, want zoals gezegd moet ook daar iemand dit stokje oppakken, anders gaat het niet gebeuren.' 'Begin bijvoorbeeld met het kijken van Ted-talks hierover', tipt Haasdijk.

Tot slot kan de overheid op dit vlak een rolmodel zijn voor andere organisaties, door hen te mobiliseren ethisch en verantwoord met technologie om te gaan. 'De overheid kan bijvoorbeeld vanuit hun inkoopvoorwaarden eisen stellen aan organisaties', zegt Richters. 'Ze kunnen daardoor afdwingen dat als je met de overheid wilt werken je aan bepaalde ethische kaders moet voldoen. Bijvoorbeeld door te borgen hoe je transparantie in systemen toetst als je samenwerkt met een externe leverancier. Of door duidelijke afspraken vast te leggen over de verantwoording van data, het systeem, en de besluiten van systemen. We kunnen wachten op regelgeving, maar dat duurt nog lang, en als de overheid dit van leveranciers gaat eisen, dan kunnen zij een katalysator zijn waardoor het ecosysteem voor iedereen ten goede verandert.'