Algoritmes en controle van de macht

Het algoritmeregister kan een mooi hulpmiddel zijn voor politici, journalisten en andere controleurs van de macht. Nu het ruim een jaar in gebruik is, is het interessant om te kijken of het daar ook écht bij kan helpen. Ik onderzocht het in een test-case: anonimiseringssoftware die gebruikt wordt bij o.a. Woo-verzoeken. Je ziet nogal wat overeenkomsten, maar ook grote verschillen in de manier waarop verschillende overheidsorganisaties dezelfde toepassing beschrijving in het register.

Controlerende machten
In 2021 verscheen mijn boek ‘Democratie in crisis’, over de invloed van digitalisering op de grondbeginselen van de democratische rechtsstaat. Eén van die grondbeginselen is een systeem van checks-and-balances. Denk aan de scheiding der machten, ook wel trias politica. In een goed functionerend systeem van checks-and-balances is de controle van de  macht breder georganiseerd dan slechts tussen uitvoerende, wetgevende en rechtsprekende macht. De controlefunctie ligt immers ook bij wetenschap, journalistiek en inwoners zelf. Maar die moeten dan wel toegang hebben tot de informatie om die controle te kunnen uitoefenen…

Dit staat in de snel digitaliserende wereld van nu onder druk. Bij onderwerpen als microtargeting, cyberveiligheid of doxing wordt al snel geroepen om een commissie, toezichthouder of andere macht met verregaande bevoegdheden in het leven te roepen. Het risico bestaat dat er voor een bepaald onderwerp slechts één institutie wordt ingericht zonder het basale uitgangspunt dat macht uiteindelijk in balans kan blijven als die effectief en efficiënt gecontroleerd kan worden. De nalatenschap van John Locke, Charles de Montesquieu en de Founding Fathers van de Verenigde Staten is ten aanzien van digitale onderwerpen soms ver te zoeken…

Het algoritmeregister als controlemiddel
De komst van het algoritmeregister is daarom bemoedigend! Omdat het inzage kan geven in het algoritmegebruik van een groot aantal publieke organisaties. Bijvoorbeeld aan de toezichthouder op het gebied van algoritmes (sinds januari 2023 de Autoriteit Persoonsgegevens). Het kan het werk van de toezichthouder makkelijker maken, omdat die niet actief hoeft te vragen om inzage in welke algoritmes gebruikt worden (en hoe die gebruikt worden). Maar je kan er ook door vergelijken hoe verschillende overheidsorganisaties de algoritmes van dezelfde leverancier hebben beschreven. Daardoor krijg je niet alleen inzicht in het algoritme zelf, maar ook in hoe het in praktijk (verschillend) gebruikt wordt. Dit zou zo’n toezichthouder overigens ook kunnen doen door bij meerdere organisaties tegelijk informatie op te vragen over dezelfde soorten algoritmes.

Maar doordat het register openbaar is, maakt het niet alleen verticaal toezicht van bovenaf mogelijk. Het stimuleert ook horizontale controle van de mach: Eén van de grote voordelen is dat het maatschappij en politiek in staat stelt om de uitvoerende macht te controleren. Gemeenteraadsleden en lokale journalisten kunnen bijvoorbeeld in het register bekijken hoe de algoritmes in hun gemeente gebruikt worden. Zo kunnen ze controleren of wettelijke eisen, maar ook lokale politieke keuzes, op de juiste manier vertaald zijn. Niet alleen in je eigen gemeente: Doordat andere bestuursorganen dezelfde algoritmes (van dezelfde leverancier bijvoorbeeld) openbaar maken, kan je óók zien welke lokale keuzes zijn gemaakt. Maar werkt dat in praktijk ook wel zo?

Testcase: anonimiseringssoftware
Ik nam de proef op de som. Inmiddels is het algoritmeregister zo’n 16 maanden in gebruik. Het is (nog?) niet verplicht om algoritmes hierin aan te melden. Er zijn, als ik dit schrijf, 346 algoritmes aangemeld, door 118 organisaties. Dat is natuurlijk nog maar een klein deel van de algoritmes die door de honderden bestuursorganen in Nederland gebruikt worden. Maar wel genoeg voor een klein onderzoekje naar hoe hetzelfde (soort) algoritme door verschillende organisaties wordt ingevoerd. Ik zocht op de term ‘anonimiseren’ en kreeg daarbij 53 zoekresultaten. Bijna allemaal softwarepakketten die zelfstandig zoeken in documenten en suggesties doen voor o.a. tekst die ‘gelakt’ zou kunnen worden. Dit gebeurt o.a. bij Woo-verzoeken – bijvoorbeeld om persoonsgegevens weg te lakken als documenten openbaar worden gemaakt. Als je de manier waarop deze (vergelijkbare)  algoritmes zijn beschreven met elkaar vergelijkt, dan zie je wel wat overeenkomsten en verschillen. Ik bespreek een aantal van de dingen die mij het meest opvallen:

1. Veel antwoorden lijken wel héél erg op elkaar
Het eerste dat opvalt is dat sommige antwoorden wel heel vaak terugkomen in de door verschillende overheden ingevulde formulieren over dezelfde toepassingen/leveranciers. Ik heb er een aantal mails aan gewaagd en begrijp dat er in sommige gevallen door ICTU en/of leveranciers suggesties voor antwoorden worden gedaan aan gemeenten. Dat is op zichzelf geen probleem natuurlijk: waarom zou iedereen hetzelfde wiel moeten uitvinden?! Maar het maakt dat je als controleur minder goed kan vergelijken. Je controleert dan eigenlijk niet de individuele overheidsorganisatie, maar bijvoorbeeld de leverancier van de dienst. Je kunt je afvragen of het voor gebruikers van het Algoritmeregister niet goed zou zijn om te kunnen zien wat standaardantwoorden bij een algoritme zijn en wat de antwoorden zijn die het gevolg zijn van keuzes van het bestuursorgaan zelf.

2. Een deel van de waarde zie je pas als je de verschillen ziet
Zoals zo vaak wordt het anders als je iets beter leest. Hoewel veel organisaties dezelfde antwoorden geven op bepaalde velden over de dienst die van eenzelfde leverancier, zijn er in de nuance van die antwoorden wel interessante verschillen te lezen. Meest in het oog springend is dat veel gebruikers van één van de meest gebruikte diensten aangeven dat de resultaten van de anonimiseringssoftware ALTIJD door een mens worden gecontroleerd. In een groot aantal andere gevallen is gekozen voor een formulering dat de resultaten door een mens KUNNEN worden bekeken. Blijkbaar gebeurt dat daar niet altijd – of alleen steekproefgewijs. De les: het vergelijken met andere (vergelijkbare) algoritmes van andere bestuursorganen loont! Zo kan het vergelijken met andere gemeenten (bijvoorbeeld) een Raadslid helpen om écht de juiste vragen te stellen als die wil controleren hoe de gemeente omgaat met risico’s.

3. Weten de invullers wel goed genoeg wat ze invullen?
Iets dat me ook opvalt is dat over dezelfde diensten soms verschillend wordt geoordeeld of het een (zelf)lerend algoritme betreft. Die vraag (zelfleren ja/nee) lijkt overigens niet altijd gesteld te worden door het register (als je de data download lijken er verschillende formulierversies waarin die vraag wel/niet gesteld is). Maar als die vraag wel beantwoord is, dan lijken gebruikers van hetzelfde pakket niet altijd hetzelfde antwoord te geven. Om dat toe te lichten: Waar het overgrote deel van de Datamask-gebruikers ‘ja’ antwoordt of het een (zelf)lerend algoritme is, is er ook een Datamask-bestuursorgaan dat dezelfde vraag met ‘nee’ beantwoordt. Bij de dienst van E-specialisten maar eentje die ‘ja’ antwoordt, terwijl er twee ‘nee’ oordelen. In het formulier van een van de ‘nee’-gemeenten staat over de technische werking:

“De tool werkt met Natural Language Processing (NLP). NLP is een onderdeel van Artificial Intelligence (AI) waarbij taal en kunstmatige intelligentie samen komen. Zo kunnen teksten worden geclassificeerd door te herkennen wat het onderwerp van de zin is of wat bijvoorbeeld een werkwoord of naam  is. Door AI herkent de software steeds meer termen.”

Ik denk daaruit op te kunnen maken dat er wel degelijk sprake is van een lerend systeem. Het leidt bij mij tot de vraag of je hieruit op zou kunnen maken dat de gebruikers misschien niet helemaal van de hoed en de rand van het algoritme weten? Zou dat voor een toezichthouder aanleiding kunnen zijn voor een gesprekje of alle risico’s bij het gebruik van een algoritme wel goed beheerst worden?

Conclusie: het register heeft toegevoegde waarde
Er is alle reden om voorzichtig te zijn met conclusies. Het Algoritmeregister wordt nog maar door een minderheid van de Nederlandse bestuursorganen gebruikt en bovendien hebben die nog lang niet al hun algoritmen beschreven. Maar mijn eerste conclusies zijn overwegend positief. Ja, natuurlijk is het niet af. En het is hier en daar een absoluut rommeltje. Daar komt bij dat je je moet afvragen of het register niet vooral als een ‘moetje’ gevuld gaat worden en of het dat dan allemaal wel waard is. Mijn overtuiging is dat die waarde er is. Het kan zeker helpen om het systeem van checks-and-balances in onze democratische rechtsstaat te versterken. Maar daarbij zou het wel goed zijn om bij de doorontwikkeling van het register te kijken naar hoe het gebruikt kan worden voor de controlerende rol van de verschillende spelers binnen dat systeem.