Vereisten aan een hoog-risico systeem - concept AI verordening

Vereisten voor hoog-risico AI-systemen in de nieuwe AI verordening

In de nieuwe concept Artificial Intelligence Act (AIA) van de Europese Commissie worden er meerdere risicocategorieën geïntroduceerd voor AI-systemen. De drie hoofdcategorieën zijn verboden, hoog-risico en laag risico. Onder welke categorie een AI-systeem valt, hangt af van waar het AI-systeem voor bedoeld is. Welke systemen er onder hoog-risico vallen, kunt u lezen in ons eerdere artikel. In dit artikel geven we een overzicht van de eisen die er worden gesteld aan hoog-risico AI-systemen en hoe men aan deze eisen kan voldoen. Hierna wordt er met AI-systeem dus uitsluitend een hoog-risico AI-systeem bedoeld.

1. Risicobeheersysteem (art. 9)

AI-systemen moeten een verbonden risicobeheersysteem hebben. Het doel van het risicobeheersysteem is om de (te verwachten) risico’s van het AI-systeem in kaart te brengen, te beoordelen en om vervolgens maatregelen te nemen om de risico’s te minimaliseren. Alle risico’s waarvoor geen maatregelen worden genomen moeten acceptabel zijn in het normale gebruik van het AI-systeem en deze moeten worden gecommuniceerd aan de gebruiker.
Naast een systeem om de risico’s bij te houden, moet er ook aandacht worden besteed aan de kennis van de gebruikers van het systeem en de geschiktheid van het beheersysteem voor het specifieke AI-systeem. Verder valt het testen van het AI-systeem ook onder dit artikel. Het AI-systeem moet namelijk geschikt zijn voor diens beoogde doel en deze geschiktheid moet ook getest worden.

2. Data en databeheer (art. 10)

Voor een AI-systeem wat gebruik maakt van data, worden er kwaliteitseisen gesteld aan de data en hoe die beheert wordt. Ten eerste moet de data goed beheert worden waarbij er onder andere gelet moet worden op de verzameling van de data, hoe deze al bewerkt is en mogelijke gebreken van de data. Alle data moet accuraat, geschikt voor het beoogde doel van het AI-systeem en representatie zijn. Verder is er bij dit artikel een wettelijke grondslag opgenomen voor het verwerken van bijzondere persoonsgegevens om vertekening (bias) in de resultaten van het AI-systeem tegen te gaan.
Voor AI-systemen die niet leren van data moeten er vergelijkbare waarborgen zijn voor de relevante technieken die daar gebruikt worden.

3. Technische documentatie (art. 11)

Voordat een AI-systeem op de markt wordt geplaatst moet een technische documentatie opgesteld worden. De documentatie moet in staat zijn om te bewijzen dat het AI-systeem voldoet aan de eisen van de AIA. In Annex 4 staat een overzicht met specifieke onderwerpen die in ieder geval behandeld moeten worden in de documentatie. De documentatie moet te allen tijden kloppen met het systeem wat op dit moment wordt gebruikt en moet dus ook soms veranderd worden.

4. Administratie (art. 12)

AI-systemen moeten zo ontworpen worden dat het gebruik van het AI-systeem automatisch wordt vastgelegd in de administratie van het systeem. Met behulp van deze administratie moet het mogelijk zijn om het functioneren van het systeem door de tijd heen te beoordelen. Specifiek moet het systeem in staat zijn om het functioneren van het systeem in risicovolle situaties vast te leggen.

Voor systemen die biometrische data gebruiken ter identificatie of categorisatie van personen moet de administratie verplicht op het niveau van individuele uitslagen worden vastgelegd. Hierbij moet het duidelijk zijn wanneer het systeem gebruikt is, wat de referentiedatabase is waarmee wordt vergeleken, de data die tot identificatie leidde met de referentiedatabase en de medewerkers die betrokken waren bij het verifiëren van de identificatie.

5. Transparantie en informatie voor gebruikers (art. 13)

AI-systemen moeten zo ontworpen en ontwikkeld zijn dat de werking duidelijk genoeg is voor gebruikers. Gebruikers moeten in staat zijn om de uitkomsten te interpreteren en uit te leggen en te effectief te gebruiken. Hiervoor moet het AI-systeem voorzien zijn van gebruiksinstructies, waarin het systeem en diens capaciteiten worden omschreven. Een nauwkeurige lijst met eisen is ook opgenomen in art. 13 AIA.

6. Menselijk toezicht (art. 14)

AI-systemen moeten zo ontworpen en ontwikkeld zijn dat effectief toezicht door mensen mogelijk is. Dit toezicht is bedoeld om de risico’s van het AI-systeem te beperken of zelfs te voorkomen. Om toezicht mogelijk te maken, moet hier een systeem voor zijn dat gepast is voor het AI-systeem. Dit toezichtssysteem moet de menselijke toezichthouder in staat stellen om de uitkomsten van het AI-systeem te gebruiken, te beoordelen, te interpreteren en ook te negeren.

Voor AI-systemen die biometrische data gebruiken voor identificatie of categorisatie van mensen geldt de extra eis dat een identificatie door het AI-systeem pas gebruikt mag worden als deze door twee mensen gecontroleerd is.

7. Nauwkeurigheid, degelijkheid en beveiliging (art. 15)

AI-systemen moeten  zo ontworpen en ontwikkeld zijn, dat tijdens gebruik voor het beoogde doel de nauwkeurigheid, degelijkheid, veiligheid en consistentie van de resultaten wordt gewaarborgd. Om de nauwkeurigheid te beoordelen worden de maatstaven en scores van het systeem opgenomen in de gebruiksinstructies. De degelijkheid van het AI-systeem houdt in dat het systeem bestendig is tegen foutjes of onduidelijkheden. Om de veiligheid te waarborgen moet het AI-systeem bestendig zijn tegen misbruik met als doel om het doel of de capaciteiten van het systeem te veranderen.

Conclusie

Er zijn dus zeven hoofdeisen waaraan ieder hoog-risico AI-project moet voldoen. Deze eisen zijn bijna allemaal gericht op de structuur en het beheer van het project. Hierdoor wordt het makkelijker om aan de eisen te voldoen bij een tweede of derde project. Hoewel deze verordening pas over een tijd in werking zal treden, kan het geen kwaad om al te kijken hoe deze eisen in bestaande projecten verwerkt kunnen worden. Ze zorgen namelijk wel voor overzicht en geven mogelijkheden voor de gebruiker om zeker te zijn in het gebruik en voor de ontwikkelaar om fouten op te sporen en te analyseren.

Als u naar aanleiding van dit artikel vragen heeft over de AI-verordening kunt u contact met ons opnemen.