Het beheer van algoritmerisico’s met een algoritmekader

De risico’s bij het gebruik van algoritmes ontstaan onder andere doordat deze algoritmes vaak complexe methodes gebruiken en daardoor slechts door een klein deel van de werknemers volledig begrepen worden. Tevens kunnen er fouten of vooroordelen bestaan in het ontwerp van algoritmes. Daarnaast is het gebruik van algoritmes in de uitvoering van beleid relatief nieuw, en binnen een instelling niet altijd voldoende bekend.

Deze algoritmerisico’s hebben niet alleen impact op publieke instellingen, maar hebben uiteindelijk impact op burgers, bedrijven en de maatschappij in zijn geheel. De publicatie van de Algemene Rekenkamer, maar ook de EU plannen voor nieuwe wetgeving rondom algoritmes, bevestigt dan ook dat de aandacht op zowel de voordelen als de nadelen van algoritmes toeneemt. Deloitte’s Artificial Intelligence Center of Expertise (AICE) heeft een zienswijze gepubliceerd waarin het belang van transparantie in algoritmes, het evalueren van algoritmes en ethiek binnen het gebruik van algoritmes wordt benadrukt. De ontwikkeling van een algoritmekader dat verantwoord gebruik van algoritmes waarborgt, speelt daar een cruciale rol in.

Een duidelijk algoritmekader helpt het verantwoord en ethisch gebruik van algoritmes binnen overheidsinstellingen, en daarmee het vertrouwen in overheidshandelen en de toepassing van algoritmes, te verbeteren. Een algoritmekader zorgt ervoor dat beslissingen die genomen worden aan de hand van de uitkomsten van een algoritme, transparant zijn voor iedereen. Daarnaast moeten die beslissingen in lijn zijn met juridische en ethische kaders en geen vooringenomenheid tonen. In dit artikel bespreken we de typen algoritmerisico’s, waar deze risico’s voor kunnen komen in de levenscyclus van een algoritme en hoe deze risico’s gemitigeerd kunnen worden.

De noodzaak voor een algoritmekader, soms ook wel model risico management kader of raamwerk genoemd, blijkt ook uit het onderzoek van de Algemene Rekenkamer. Dit onderzoek laat zien dat een beter overzicht en betere kwaliteitscontrole vereist is in zowel de ontwikkeling en het gebruik van algoritmes binnen publieke instellingen.

Verder benadrukt een recent rapport van de Nationale Ombudsman de verantwoordelijkheid van de overheid om het burgerperspectief centraal te stellen door duidelijk, toegankelijk en oplossingsgericht te zijn. Het centraal stellen van het burgerperspectief en het brengen van de menselijke maat in beleid en uitvoering wordt besproken in het eerste artikel van de serie artikelen ‘Toekomst van de Rijksoverheid’. Daarnaast worden in het wetsvoorstel (EU AI Act) meerdere regels voorgesteld waaronder vereisten voor een risicomanagementsysteem, data, transparantie en menselijke betrokkenheid bij het gebruik van algoritmes.

Verschillende typen van algoritmerisico’s

Het belangrijkste risico verbonden aan het gebruik van algoritmes is dat verkeerde besluiten genomen kunnen worden in de uitvoering van het beleid van de publieke instelling. Die verkeerde besluiten kunnen een direct gevolg hebben voor belanghebbenden zoals burgers en de maatschappij als geheel. Bijvoorbeeld een negatieve financiële impact op burgers of vooroordelen op basis van persoonskenmerken. De gevolgen daarvan kunnen groot zijn, vooral als er ook geen duidelijke manier is om besluiten als gevolg van algoritme uitkomsten aan te vechten.

Dit kan er ook voor zorgen dat het publieke vertrouwen in de specifieke publieke instellingen, en de overheid in het algemeen, en het gebruik van algoritmes door deze instellingen geschaad wordt. Als dit zich een aantal keer voordoet, bestaat de kans dat het gebruik van algoritmes door publieke instellingen, ondanks alle voordelen, mogelijk beperkt wordt.

Daarnaast zijn er nog een aantal andere manieren waar algoritmerisico’s impact hebben op de instelling zelf:

• De impact op een instelling wanneer algoritmes in strijd zijn met wetten, regels en regelgeving (zoals schending van antidiscriminatie en privacy wetgeving);
• De impact op de financiële gezondheid van een instelling door verkeerde besluitvorming die een negatieve impact heeft op de financiën van de instelling of wanneer boetes betaald moeten worden door verkeerde beslissingen;
• De impact op operationele processen wanneer incidenten met algoritmes zorgen voor verstoringen in bedrijfsprocessen, terwijl algoritmes deze bedrijfsprocessen juist proberen te verbeteren;
• De impact op strategische beslissingen van instellingen wanneer strategische besluitvorming wordt gebaseerd op foutieve algoritme uitkomsten, wordt gebruikt door mensen die niet de benodigde kennis hebben of wordt gebaseerd op verkeerd geïnterpreteerde resultaten;
• De impact op de technologie van een instelling wanneer incidenten met algoritmes een impact hebben op bijvoorbeeld de veiligheid en stabiliteit van de IT-infrastructuur. Daarnaast kan dit ook zorgen voor het verlies van vertrouwen in het gebruik van de technologie, dat gebrek aan vertrouwen kan ook impact hebben op andere sectoren.

Zoals hierboven te lezen is staan deze risico’s vaak niet op zich zelf. Een operationele fout in het gebruik of het ontwerp van een algoritme kan bijvoorbeeld een grote impact hebben op de reputatie van een instelling. Anderzijds, verkeerde besluiten die genomen worden met algoritmes kunnen ervoor zorgen dat het vertrouwen in de overheid geschaad wordt en daarmee ook financiële gevolgen hebben. Daarnaast kan een gebrek aan transparantie en mogelijke oneerlijkheid in een algoritme impact hebben op het vertrouwen van de instelling, maar ook bijvoorbeeld in strijd zijn met wet- en regelgeving. Een toolkit zoals Glassbox kijkt in die spreekwoordelijke “black box” van algoritmes. Dit stelt instellingen in staat om objectief de transparantie, eerlijkheid en nauwkeurigheid van algoritmes te meten.

Al deze risico’s kunnen niet alleen tijdens het gebruik van het algoritme voorkomen, maar in alle stappen van de levenscyclus van een algoritme. Het is belangrijk dat het belang van alle belanghebbenden zoals burgers wordt meegenomen in elke stap van de levenscyclus, dit wordt ook benadrukt in de publicatie van de Nationale Ombudsman.

Mitigeren van algoritmerisico’s met behulp van een algoritmekader

Kortom, een algoritmekader zorgt ervoor dat algoritmerisico’s en de mogelijke gevolgen ervan worden beheerst gedurende de gehele levenscyclus van een algoritme. Algoritmekaders zijn specifiek voor de omvang en het type instelling, maar houden ook vooral ook rekening met het aantal en de complexiteit van de algoritmes die gebruikt worden. Op hoofdlijnen bevat het algoritmekader vaak de volgende bouwblokken:

a. Een levenscyclus die met stappen die elk algoritme doorloopt. De levenscyclus start met het idee voor een nieuw algoritme en de besluitvorming waar het voor gebruikt gaat worden. Vervolgens volgt de ontwikkeling en validatie van het algoritme, de implementatie en het testen van het algoritme, en tot slot het gebruik van het algoritme. Indien nodig volgt ook het beëindigen van het gebruik van het algoritme. De ervaringen, wensen en behoeften van het publiek staan centraal in alle stappen van de levenscyclus, zoals ook wordt benadrukt in de publicatie van de Nationale Ombudsman.

b. Een duidelijke governance structuur voor algoritmes, met rollen en (eind) verantwoordelijkheden voor alle stappen in de levenscyclus. De governance structuur beschrijft onder andere de rol van een algoritme eigenaar, algoritme ontwikkelaars, een ethisch comité en / of algoritme comité en een onafhankelijke evaluatiefunctie (ook wel validatiefunctie), die onafhankelijk de kwaliteit en de ethische risico’s van het algoritme beoordeelt. Een algoritme comité is uiteindelijk verantwoordelijk voor de goedkeuring van een algoritme voordat het gebruikt wordt, maar ook voor alle algoritmes die reeds gebruikt worden. Een ethisch comité waarborgt specifiek dat er geen ongelijkheid in het gebruik van het algoritme optreedt en dat het algoritme voor de juiste doeleinden wordt gebruikt. Daarnaast zijn bijvoorbeeld ook de functionaris gegevensbescherming, juridische zaken en IT belangrijke rollen in het beheren van algoritmes.

c. Duidelijke verantwoordelijkheden en controles voor iedere stap in de levenscyclus zijn van belang om te zorgen dat de hierboven beschreven governance structuur wordt gevolgd voor elk algoritme. Daarnaast helpen verantwoordelijkheden en controles om risicoafwegingen op het juiste niveau in acht te nemen ten aanzien van algoritmes.

d. Een complete inventaris van alle algoritmes binnen de instelling, inclusief de risico’s van de individuele algoritmes (beoordeeld doormiddel van bijvoorbeeld de kwaliteit, impact en ethische aspecten van het algoritme).

e. Consistente beleidsdocumenten en standaarden, waarin onder andere omschreven staat welke typen algoritmes gebruikt mogen worden, welke criteria gehanteerd moeten worden om tot een algoritmekeuze te komen en hoe omgegaan dient te worden met het verwerken van persoonsgegevens, bijvoorbeeld volgens de Algemene Verordening Gegevensbescherming (“AVG”). Daarnaast is ook het ethisch normenkader van belang, dat de richtlijnen op het gebied van menselijke autonomie, het voorkomen van schade, eerlijkheid, verklaarbaarheid en transparantie van het algoritme beschrijft.

f. Frequente monitoring van algoritmes om te meten en te controleren of de algoritmes nog accuraat en eerlijk blijven en daarmee geschikt zijn voor besluitvorming. Een onderdeel hiervan is het bepalen van de juiste statistieken, maatstaven en drempelwaardes (zoals statistieken voor transparantie en eerlijkheid). De frequentie van het monitoren wordt bepaald aan de hand van een risico-gebaseerde aanpak.

De implementatie van het algoritmekader ondersteunt verantwoordelijk en ethisch gebruik van algoritmes met inachtneming van juridische vereisten binnen een instelling. Dit is in lijn met de voorgestelde regelgeving vanuit de Europese Unie. Een duidelijk algoritmekader stelt publieke instellingen in staat om de voordelen van algoritmes in het uitvoeren van beleid te benutten en tegelijkertijd risico’s te beheersen.