Article

Een algoritme hoeft geen risico te zijn

Praktische oplossingen voor de aanbevelingen van de Algemene rekenkamer

Het gebruik van algoritmes binnen de overheid is in de afgelopen jaren sterk toegenomen. Deze algoritmes maken het mogelijk voor de overheid om haar taken efficiënter en effectiever uit te voeren, met minder ambtenaren en met kortere doorlooptijden. Het gebruik van algoritmes introduceert echter ook nieuwe risico’s. De besluitvorming aan de hand van het algoritme kan discriminerend zijn, moeilijk uitlegbaar of kan de privacy van burgers schenden. Dit artikel gaat verder in op een aantal aanbevelingen van de Algemene Rekenkamer om deze risico's te verminderen.

Om die reden heeft de Algemene Rekenkamer in 2021 een onderzoek gepubliceerd naar hoe de Rijksoverheid algoritmes inzet. Hierin wordt onder andere een toetsingskader beschreven voor de verantwoorde inzet van algoritmes in de praktijk. Op 18 mei 2022 is het vervolgonderzoek gepubliceerd waarin de Algemene Rekenkamer aan de hand van dit toetsingskader negen algoritmes van de rijksoverheid heeft onderzocht en beoordeeld op hun werking. Zes van de negen algoritmes voldoen niet aan de eisen zoals zij in het toetsingskader zijn gesteld. In dit vervolgonderzoek worden twee eerdere aanbevelingen uit 2021 nogmaals onderstreept:

  • Leg, met name bij uitbesteding of inkoop bij een andere partij, afspraken over de inzet van algoritmes vast en richt continue monitoring in op het nakomen van deze afspraken.
  • Zorg dat algoritmes en benodigde data beschermd worden door goed functionerende IT-beheersmaatregelen.

Ook heeft de Algemene Rekenkamer twee nieuwe aanbevelingen geformuleerd:

  • Controleer voortdurend – tijdens ontwerp en uitvoering – op het effect van bias door algoritmes en voorkom daarmee dat onwenselijke systematische afwijkingen voor specifieke personen of groepen ontstaan.
  • Besteed bij het toezicht op instellingen op afstand van het Rijk ook expliciet aandacht aan de inzet van algoritmes bij de uitvoering van publieke taken.

Dit artikel gaat dieper in op twee van de vier aanbevelingen, namelijk de aanbeveling over leveranciers en uitbesteding en de aanbeveling over bias. De aanbeveling over IT-beheersmaatregelen wordt verder op ingegaan in een nog te publiceren vervolgartikel van Deloitte. De laatste aanbeveling gaat over de reikwijdte van het toezicht van het Rijk en niet over wat specifieke instellingen moeten doen.

Afhankelijkheid van leveranciers en uitbesteding

De eerste aanbeveling van de Algemene Rekenkamer is om afspraken vast te leggen, bij uitbesteding of inkoop van algoritmes bij externe partijen. Bij uitbesteding of inkoop creëert een instelling een afhankelijkheid naar betrokken leveranciers voor het gebruik en de beheersing van algoritmes. Uitbestede algoritmes zijn, vaker dan intern ontwikkelde algoritmes, een black box die niet door de instelling zelf gecontroleerd kan worden. De perceptie van een black box wordt veroorzaakt door zowel een gebrek aan transparantie van de leverancier als het ontbreken van kennis en ervaring binnen de instelling.

Net als bij de interne ontwikkeling van algoritmes, is het daarom cruciaal om heldere rollen en verantwoordelijkheden te definiëren, zowel binnen de instelling als met de leverancier. Hierbij blijft de instelling eindverantwoordelijk voor de juiste, eerlijke en transparante werking van het algoritme en het voldoen aan wet- en regelgeving (inclusief de AVG). Ook andere afspraken, zoals de uit te voeren monitoringsactiviteiten, uitbesteding van het beheer, de doelstellingen en de risicoafwegingen, moeten concreet worden vastgelegd. De praktijk leert dat er bij veel instellingen nog steeds onderwerpen of activiteiten zijn waarvan de rolverdeling tussen de instelling en de leverancier niet is vastgelegd. Daarmee is dus ook niet duidelijk of, hoe en door wie alle relevante beheersmaatregelen voor verantwoord algoritme gebruik uitgevoerd worden.

Een algoritmeregister, een van de beschikbare governance instrumenten, kan helpen dit te waarborgen. In het algoritmeregister kunnen de eigenschappen van een algoritme, afspraken met de externe partij, de doelstelling van het algoritme en de geïdentificeerde risico’s vastgelegd worden. Wanneer een instelling een gestandaardiseerd template verplicht stelt voor alle leveranciers, dwingt de instelling leveranciers om bij te dragen aan de informatie in het algoritmeregister. Verder zorgt een gestandaardiseerd template voor volledigheid van de informatie in het algoritmeregister wat bijdraagt aan de transparantie over het algoritme. Tenslotte, worden leveranciers tijdens het inkoopproces gehouden aan dezelfde eisen en mogelijkheden om de benodigde informatie te leveren.

Bias in de algoritmelevenscyclus

De andere aanbeveling van de Algemene Rekenkamer gaat over het voortdurend controleren – tijdens ontwerp en uitvoering – op het effect van bias door algoritmes, om daarmee te voorkomen dat onwenselijke systematische afwijkingen voor specifieke personen of groepen ontstaan.

Bias kan worden veroorzaakt door het directe gebruik van gevoelige informatie, bijvoorbeeld geslacht of nationaliteit, dit wordt ook wel directe bias genoemd. Bias kan echter ook optreden zonder het gebruik van gevoelige informatie. Dit wordt ook wel indirecte bias genoemd. De oorzaak van indirecte bias kan op veel verschillende manieren in een algoritme terecht komen, bijvoorbeeld door een gebrek aan representativiteit in de beschikbare data voor specifieke kwetsbare groepen. Dit komt ook naar voren in recent wetenschappelijk onderzoek. Het is daarom essentieel om de effecten van bias te meten en te monitoren in de gehele algoritmelevenscyclus.

Voorbeelden van fases in de levenscyclus zijn de ontwerp-, dataverzamelings-, ontwikkelings-, en de gebruiksfase. Door het implementeren van een levenscyclus houdt de instelling grip op het algoritme. De levenscyclus bevat beheersmaatregelen die uitgevoerd dienen te worden na de afronding van elke fase. Hierdoor kan een instelling tijdig en adequaat ingrijpen bij ongewenste effecten. In elke fase van de levenscyclus worden ethische overwegingen gemaakt om onder andere bias en oneerlijkheid te voorkomen. Een mogelijke oplossing is Digital Ethics by Design. Een Digital Ethics by Design oplossing draagt bij door ethische waarden te integreren in de processen binnen de instelling om verantwoord om te gaan met algoritmes. Door ethische waarden vanaf het begin te integreren mitigeer je het risico van gevaren en wijzigingen achteraf en met als gevolg dat ook tijd en geld wordt bespaart.

Afsluiting en contacten

Als Deloitte is het onze missie om organisaties te helpen om een verantwoorde organisatie te zijn door de voordelen van ethische en verantwoorde algoritmes van hoge kwaliteit te ontwikkelen met in achtneming de waarden van alle betrokkenen waaronder de burgers. Wij zijn er van overtuigt dat algoritmes verantwoord en veilig ontwikkeld, beoordeelt, gebruikt en onderhouden moeten worden. Het ontwikkelen, gebruik en onderhouden van algoritmes op de juiste manier zorgt voor accurate, transparante, uitlegbare en eerlijke algoritmes die van waarde zijn voor organisaties en de maatschappij als geheel.

Did you find this useful?