AI wetgeving minstens zo ingrijpend als Europese privacyregels

Uit Walters’ uitgebreide analyse van 15 grote en kleine bedrijven, en aanvullend literatuuronderzoek, blijkt dat de voorbereiding van veel organisaties op de AI Act nog lang niet optimaal is. Het ontbreekt vaak nog aan training op de risico’s van ‘bias’ bij dataverzameling en A.I.-modellen. Ook zijn er vaak nog geen richtlijnen voor technische documentatie, terwijl de AI Act specifieke punten benoemt waaraan die documentatie moet voldoen’.

Nog veel onduidelijk

Walters constateert dat het niet verwonderlijk is dat bedrijven nog onvoldoende zijn voorbereid, want veel is nog onduidelijk rond de Europese regelgeving, die vrij algemeen is verwoord. “Bedrijven zijn al twee jaar hiermee bezig, want de basis voor de AI Act is al in 2021 vastgesteld. Op bepaalde punten is de Act wel heel concreet; met name als het gaat om heel risicovolle A.I., zoals modellen die bepalen op welke uitkeringen iemand recht heeft. Maar op andere punten is de wet vrij onduidelijk; zoals dat het een hoog risico is als je A.I. hebt verwerkt in je ‘kritieke infrastructuur’. Het is op die punten nog steeds ambigu wat de wet straks in de praktijk betekent.”

Meer impact dan AVG

Toch is voorbereiding essentieel, want de regelgeving gaat verstrekkende gevolgen hebben, denkt Walters. “De impact voor bedrijven gaat minstens zo groot zijn als bij de AVG. De meeste bedrijven maken inmiddels al gebruik van A.I.; soms weten zij niet eens waar of hoe het wordt gebruikt. Als je zelf een webshop runt, dan heb je misschien niet eens door dat dit bijvoorbeeld in een aanbevelingssysteem zit.”

Grotere opgave

Wat de impact van deze Europese wetgeving ook zo groot maakt, is dat privacy iets is wat bedrijven nog achteraf kunnen toevoegen. “Lastig aan de AI ACT is dat je risicoanalyses moet uitvoeren op het gebied van rechten en discriminatie, en moet kunnen aantonen dat je hier goed over hebt nagedacht. Hiervoor moet je ook bepaalde methodieken gebruiken, en bedrijven weten nog niet welke. De AVG is veel concreter, omdat het veelal gaat over persoonsgegevens anonimiseren of pseudonimiseren. Dit wordt dus een veel grotere opgave voor organisaties.”

Bottlenecks

Voor haar onderzoek heeft Walters relevante onderdelen van de AI Act uitgelicht en omgebouwd tot 90 enquêtevragen. Een mix aan organisaties heeft deelgenomen, waarna Walters scores toekende voor hoe vaak een bedrijf of organisatie een bepaalde vereiste actie uitvoert (soms, regelmatig, zelden of altijd). “De gemiddelde score was 58 procent; er is dus zeker nog ruimte voor verbetering”.

Met name de technische documentatie blijkt punt waarop laag wordt gescoord. “Bedrijven hebben nog geen protocollen voor het schrijven van technische documentatie, terwijl de AI Act op dit gebied heel specifieke dingen vraagt”, aldus Jacintha.

Ook de kennis van de risico’s van ‘interne A.I.-modellen en data’ schiet nog tekort. “De meeste ondervraagde bedrijven gaven aan dat zij in twee jaar geen risico’s zijn tegengekomen bij het gebruik van hun datasets. Dit is onwaarschijnlijk, want alle datasets en modellen bevatten een risico. Meer training op dit gebied is daarom nodig.” De bedrijven scoorden overigens wel goed op het up-to-date houden van hun A.I.-modellen.

Verbaasd

“Wat mij tijdens deze master wel echt heeft verbaasd, is dat er zóveel risico’s kleven aan het inzetten van AI”, zegt Jacintha. “Bias is echt een groot ding- er zijn zoveel groepen waar je rekening moet houden. Maar hoe meer variaties je toevoegt, hoe minder goed een model werkt. Je moet je daarom als organisatie telkens afvragen of het beter is om dingen te automatiseren, of dat er dusdanige risico’s aan zitten dat je hier beter vanaf kunt zien. Hier zullen nog veel dilemma’s over opduiken de komende tijd, ook bij gemeenten in Nederland die A.I. meer gaan inzetten.”

Meer informatie

Jacintha is afgestudeerd aan de master Applied AI via het Centre for Market Insights, onder leiding van onderzoeker Diptish Dey en lector Jesse Weltevreden. De wetenschappelijke paper die binnenkort uitkomt ('Complying with the EU AI ACT') schreef Jacintha samen met HvA-onderzoekers Diptish Dey, Debarati Bhaumik en Sophie Horsman.

Naar aanleiding van haar inzichten heeft Jacintha besloten om een eigen consultancy te beginnen: Babelfish, om organisaties te assisteren bij het verantwoord inzetten van AI-modellen en te ondersteunen bij voorbereidingen op de AI-regelgeving.