Onderzoek toont aan: Gokproblemen zijn te voorspellen

Bovendien bleek bij navraag ook dat algoritmen die in het verleden werden ontwikkeld of gebruikt, op dat moment niet meer werden gebruikt en er ook geen plannen waren om deze in de toekomst verder te ontwikkelen of te gaan gebruiken. Het betrof hier decision support tool voor toegang tot de maatschappelijke opvang en beschermd wonen (ook bekend als zelfredzaamheidmatrix), waarbij de mate van zelfredzaamheid van een dak- of thuisloze wordt bepaald. Van het algoritme GALO, een algoritme dat adviseert over het te nemen besluit op de aanvraag levensonderhoud, gaf de ambtelijke organisatie eind 2022 aan dat dit zou worden uitgefaseerd en dat de aanbesteding voor een nieuw systeem zou lopen.

De portefeuillehouder ICT & Digitale Stad is stelselverantwoordelijk, bevordert de bescherming van de digitale rechten van burgers en is verantwoordelijk voor kennisontwikkeling, voorlichting, preventie en eventuele nazorg. Gegeven deze bestuurlijke verantwoordelijkheden valt het op dat het college geen kaders voor algoritmen heeft vastgesteld. De ambtelijke organisatie geeft aan dat het Amsterdamse beheerskader voor algoritmen enkel door het GMT is vastgesteld (januari 2022). In de GMT-voordracht staat dat zes van de zeven instrumenten uit het beheerskader ‘direct uitvoerbaar’ zijn vanaf de datum van de GMT-voordracht, waarvoor de communicatieplicht naar de gemeentelijke organisatie bij de CIO is belegd. Een uitzondering vormt het zevende beheersinstrument over de governance (zie ook paragraaf 2.8.2).

Algoritmeregister voldoet nog nietTot 26 mei 2023 waren geen van de drie onderzochte algoritmen opgenomen in het Amsterdamse algoritmeregister of in het register van verwerkingen van persoonsgegevens. Sinds 26 mei 2023 is het algoritme voor de behandeling van Bbz-aanvragen wel opgenomen in het register (weblink). Wel valt op dat het toegangsbeheer vaak niet goed belegd is bij de gemeente bij de twee algoritmen waar er sprake is van een inkooprelatie (Detectie illegale passagiersvaart en Behandeling aanvraag Bbz-uitkering). De controle op het up-to-date houden van toegangsrechten met betrekking tot de omgeving waarin het algoritme functioneert, is vaak nog niet periodiek, of gebeurt handmatig. Ook is er een gemengd beeld als het gaat om de uitgifte van toegangsrechten tot het model en de data door daarvoor bevoegde personen, variërend van een duidelijk ingebed autorisatiebeleid tot een informele gedragslijn. Met betrekking tot bias komen we tot de conclusie dat de ambtelijke organisatie oog heeft voor het bestaan van systematische afwijkingen en bias.

De mogelijkheid van betrokkenen om het besluit achteraf te kunnen controleren en aan te vechten, is andersom ook weer een vorm van menselijke tussenkomst. De Rekenkamer Rotterdam heeft in 2021 een onderzoek gepubliceerd waarin ze waarschuwde voor de risico’s die kleven aan gebruik van algoritmes door de gemeente. De afgelopen twee jaar is er meer aandacht gekomen voor de risico’s van algoritmes. De gemeente heeft instrumenten ontwikkeld en afspraken gemaakt binnen de organisatie. Zo is bijvoorbeeld omschreven dat er voor nieuwe algoritmes een risico-inschatting moet worden gemaakt.

Waarom grijpen we zo vaak naar onze telefoon? Geef ‘verslavende’ algoritmen niet zomaar de schuld

Met behulp van het ontwikkelde toetsingskader zijn 3 algoritmes langs de meetlat gelegd. Als er voldoende data van spelers beschikbaar zijn, kunnen AI-algoritmes gokproblemen herkennen.. Met behulp van Artificial Intelligence modellen kan probleemgedrag herkend worden. Dit kan een revolutionaire doorbraak zijn in het voorkomen van bijvoorbeeld verslavingsproblematiek. Daar zullen ze het zwaarder laten wegen als een gebruiker een commentaar plaatst. Bij TikTok gaat het er vooral om dat iemand zo lang mogelijk in de app blijft.’ Om de discussie te voeden, kan het voor een platform als X slim zijn om juist mensen met verschillende overtuigingen in elkaars tijdlijn te plaatsen, zodat er wrijving en verontwaardiging ontstaat.

Positief is dat het beheerskader al deels aansluit op de Europese concept-AI-verordening. Oorspronkelijk wilden we een selectie maken uit een populatie van algoritmen die het Amsterdamse gemeentebestuur toepast op basis van vooraf bepaalde selectiecriteria (zie onze onderzoeksopzet). We hebben hiervoor gekozen omdat we tijdens het onderzoek constateerden dat de ambtelijke organisatie te weinig algoritmen in beeld had om een selectielijst van algoritmen op te stellen. Daarnaast had de ambtelijke organisatie intern ook slechter zicht op algoritmen dan wij van tevoren hadden ingeschat. Zie in dit verband het kader Interne inventarisatie verloopt moeizaam in paragraaf 2.8.1, waarbij wij uiteenzetten hoe wij zelf hebben getracht om een overzicht van algoritmen op te stellen.

Vertrouwen in AI – een aanpak

• Het betrekken van belanghebbenden is een ander aspect van het DPIA-proces dat niet volledig lijkt te worden behandeld in het sjabloon.
• BeoordelingUit het beheerskader blijkt dat het ontwikkelteam en de privacy officer moeten toetsen of het algoritme voldoet aan de geldende wet- en regelgeving rondom geautomatiseerde besluitvorming.
• Directeuren leggen steeds vaker algoritmen in een vroeg stadium aan de CPA voor.
• Hierna gaan we eerst in op de overkoepelende toets van het beheerskader, vervolgens op het casusonderzoek.

In de GMT-voordracht staat dat dit document een maand later (februari 2022) aan het college zou worden voorgelegd. Wij hebben de voordracht van het governancedocument aan het college en de besluitvorming daarover echter niet kunnen vaststellen. ConclusieHet beheerskader heeft voldoende aandacht voor het ethisch perspectief van verklaarbaarheid en transparantie.

Aandacht voor model en data

De ambtelijke organisatie heeft een voorkeur aangegeven voor selectie van een algoritme onder het programma Digitale Gracht. Wij hebben vervolgens daarbinnen het algoritme Detectie illegale passagiersvaart geselecteerd. Het derde algoritme, voor het behandelen van een Bbz-aanvraag (Gripvol) hebben we op eigen initiatief geselecteerd. Daarbij hebben we bewust gekozen voor een ander beleidsterrein dan de twee eerder geselecteerde algoritmen.

Voor negen van de veertien risico’s zijn bij de onderzochte casussen beheersmaatregelen getroffen die in opzet het risico’s afdekken (zie kader Risico’s waarvoor beheersmaatregelen zijn getroffen om het risico in opzet af te dekken). Voor de resterende vijf van de veertien risico’s geldt dat de getroffen beheersmaatregel in opzet het risico in redelijke mate afdekt. De Autoriteit Persoonsgegevens geeft aan dat het opstellen van de DPIA geen eenmalige opdracht is, maar een continu proces. De ambtelijke organisatie zal moeten (blijven) monitoren of de gegevensverwerking (door het algoritme) wijzigt en of daarom de DPIA moet worden bijgesteld. De analyse van de drie algoritmen laat zien dat de Data Protection Impact Assessment (DPIA) en het verwerkingsregister te laat in het ontwikkelproces worden uitgevoerd. Op het thema ‘model en data’ zien wij drie rode draden (zie parafen 3.3.1 tot en met 3.3.3).

Dit houdt in dat bij de ontwikkeling een impact assessment plaatsvindt over de sociale gevolgen en er rekening wordt gehouden met de impact op de samenleving en democratie. Het Amsterdamse beleid omtrent algoritmen is vastgelegd in verschillende beleidsstukken (zie figuur 1.1). Indien een algoritme de structuur heeft van een (eenvoudige) beslisboom, dan zullen wij in dit onderzoek spreken van een ‘rule-based’ algoritme. Is er sprake van een zelflerend algoritme dat op basis van statistische analyse van de eigen output zelf de eigen criteria en beslisregels bij kan stellen, of kan leren voorspellingen te doen op basis van historische data, dan zullen wij spreken over een ‘case-based’ algoritme. Ontdek de mogelijkhedenOntdek wat er mogelijk is met algoritmes in de dossiers Kunstmatige intelligentie, Digitale zorg en Slimme apparaten. Leer programmerenAls je snapt hoe (en waarom) een computercode gemaakt wordt, kun je ook kritischer zijn op de technologie die je gebruikt.

Bijlage 5 – Inventarisatie RMA – algoritmen die Amsterdam mogelijk toepast

Voorbeelden van dit soort beheersmaatregelen zijn het inrichten en up-to-date houden van toegangsbeveiliging tot systemen, wachtwoordbeheer en het maken van back-ups. In het beleid voor digitalisering (het ‘I-beleid’), dat geen deel uitmaakt van het beheerskader, is wel aandacht voor burgerbetrokkenheid (zie kader). In de feitelijke reactie op dit rapport (september 2023) heeft de ambtelijke organisatie aangegeven dat het de definitie op korte termijn zal herzien in lijn met de Europese concept-AI-verordening. De vierde definitie die in het gemeentelijk algoritmeregister staat, is het breedst van opzet. De definitie heeft ook het grootste externe bereik, omdat het algoritmeregister de plaats is om te zoeken naar Amsterdamse algoritmen en de gehanteerde definitie.

Het valt ons op dat bij alle drie de onderzochte algoritmen sprake is van een bepaalde afhankelijkheid van derden. In het geval van het algoritme Detectie illegale onderhuur is er gekozen voor een model waarbij de functionaliteit sterk steunt op data die verkregen zouden moeten worden van Amsterdamse woningcorporaties. In dit geval hebben de corporaties https://evacuatiekaboel.nl/ de toegang tot deze data nog niet toegezegd, waardoor de ontwikkeling van het model nu al voor een lange tijd stilligt.

Tot slot is onduidelijk of bepaalde (onderdelen van) algoritmen niet zijn beschreven, omdat deze niet openbaar of vertrouwelijk zijn (op grond van de Woo). Tilburg University constateert dat algoritmische besluitvorming systemische en op institutioneel niveau ingebedde ongelijkwaardigheid vergroot, aangezien algoritmen bestaande sociaaleconomische ongelijkheden in de samenleving kunnen reproduceren of zelfs versterken. Wanneer een algoritme dergelijke systematische afwijkingen voor specifieke groepen of personen creëert of versterkt, kan dat voor diegenen grote gevolgen hebben. Een ‘eerlijk algoritme’ moet daarom rekening houden met de diversiteit in de populatie. Daartoe moeten de data representatief zijn, bias in het model en data moeten worden geminimaliseerd en extra aandacht moet worden geschonken aan kwetsbare groepen. Daarnaast moeten stakeholders en eindgebruikers regelmatig betrokken worden bij de ontwikkeling van een algoritme.

We onderzoeken daarom het overkoepelende beheerskader (het Amsterdamse instrumentarium, zie paragraaf 1.2), om een oordeel te geven over in hoeverre het beheerskader op macroniveau bijdraagt aan het verantwoord toepassen van algoritmen. Als onderdeel van de Agenda AI is het college het Programma Algoritme Lifecycle Aanpak gestart. De Algoritme Lifecycle Aanpak wordt gebruikt door het college om grip te krijgen op de gemeentelijke algoritmen, en om deze eerlijker en transparanter te maken voor burgers en bedrijven. De aanpak bestaat uit zeven instrumenten om algoritmen gedurende hun levenscyclus te kunnen beheren, risico’s in te kunnen schatten en te onderzoeken (‘auditen’). Risico’s bij het toepassen van algoritmen spelen niet alleen bij de rijksoverheid, maar ook bij lokale overheden.

In tegenstelling tot de andere definities worden bij de meest ruime definitie (definitie vier) geen specificaties over de methoden gedaan, de vorm van de uitkomst, de mate van geautomatiseerd handelen en de impact. Tevens is de vierde definitie de enige definitie die de term ‘algoritme’ niet vervangt door de term ‘software’. Een beheerskader kan de ambtelijke organisatie meerwaarde bieden bij het toepassen van algoritmen, maar daar zijn wel voorwaarden aan verbonden. De belangrijkste voorwaarde is dat het beheerskader een samenhangend geheel vormt.

De toelichting bij de concept-AI-verordening bevestigt dat het ontwikkelen, gebruik en het onderhouden van een algoritme (jaarlijks) middelen van organisaties (zoals de Amsterdamse ambtelijke organisatie) vergt. Het volgende hoofdstuk richt zich op de toets van het Amsterdamse beheerskader voor algoritmen en de beantwoording van deelvraag 1. In hoofdstuk 3 behandelen we het casusonderzoek en beantwoorden we de deelvragen twee en drie. Deze motie heeft direct geleid tot de ontwikkeling van het algoritme Detectie illegale onderhuur. In dit deel van het onderzoek beoordelen we het overkoepelende beheerskader (het instrumentarium) van de gemeente Amsterdam.

Zelf geeft de ambtelijke organisatie aan dat op dit moment een standaardwerkwijze wordt geformuleerd. Dat beide bias-analyses zouden moeten worden uitgevoerd, strookt niet met een eerdere interpretatie van een deel van de ambtelijke organisatie (juni 2023). Die geeft aan de keuze te hebben om het IAMA of de Amsterdamse bias-analyse – al dan niet in combinatie – in te zetten. Een ander deel van de organisatie (juni 2023) geeft aan dat de ambtelijke organisatie overgaat naar het structureel gebruiken van de IAMA in plaats van het eigen instrument.

Het lastige aan bias bij algoritmen die helpen bij controles is vaak dat het niet duidelijk is hoe de doelpopulatie van het algoritme (bijvoorbeeld fraudeurs of regelovertreders) er in werkelijkheid precies uit ziet. Over de jaren heen kan er weliswaar een beeld ontstaan van hoe deze groepen samengesteld zijn en welke kenmerken vaak voorkomen bij de doelpopulatie, maar dat beeld hoeft niet per se waar te zijn. In dat geval is er een verschil tussen de doelpopulatie en de selecties die worden gemaakt.