Artificial Intelligence in het onderwijs en de AI Act

Hoog risico AI toepassingen in het onderwijs

De volgende toepassingen van AI in het onderwijs worden aangemerkt als ‘hoog risico’. NB: onder het begrip ‘onderwijs’ worden alle vormen en niveaus van onderwijs verstaan. 

1. Toelating tot onderwijs. Veel instellingen in het onderwijs kunnen niet iedereen toelaten die zich aanmeldt. Iedere  instelling waarvoor dat geldt, moet criteria hanteren op basis waarvan toelating gebeurt. Soms zijn die complex of gebaseerd op toelatingstoetsen. Omgekeerd, als iemand die zich inschrijft voor bepaald soort onderwijs, kan het zo zijn dat die persoon ingedeeld wordt in een bepaalde instelling. Dat laatste is bijvoorbeeld het geval als lagere schoolleerlingen een aantal middelbare scholen opgeven als voorkeur en daarna ingedeeld worden op één van die scholen, wat onder meer in Amsterdam gebruikelijke praktijk is. Als AI wordt gebruikt om deze processen te automatiseren, dan is dat hoog risico AI. De informatie uit de AI systemen wordt immers gebruikt om een beslissing over potentiële leerlingen/studenten te nemen.

2. Gebruik van AI bij de beoordeling van toetsen of anderszins bij de beoordeling van leerlingen/studenten, is eveneens hoog risico AI. 

3. Als AI wordt ingezet om in te schatten welke onderwijsniveau passend is voor iemand, is dat een hoog risico toepassing.

4. Tot slot kan AI ingezet worden om tijdens toetsen ongeoorloofd gedrag te identificeren, wat ook weer als een hoog-risico toepassing is bestempeld door de wet.

Hoewel deze lijst door de EU aangepast kan worden in de loop van de tijd, is dit op dit moment een uitputtende lijst. Nietemin komt het er op neer, dat toepassing van AI in de primaire onderwijsprocessen al snel hoog-risico zal zijn.

Verplichtingen bij gebruik hoog risico AI

Een onderwijsinstelling die bovenstaande toepassingen van AI wil gaan invoeren, moet aan de eisen van de AI Act voldoen. Hieronder staat in hoofdlijnen wat dat inhoudt. De bedoeling van deze blog is om inzicht te geven in waaraan zoal gedacht moet worden. Voor toetsing of aan de eisen is voldaan zal juridische beoordeling noodzakelijk zijn.

1. Onderwijsinstellingen die bovenstaand gebruik van AI willen invoeren, zullen daarvoor tools gaan gebruiken. De wet stelt hoge eisen aan de makers en aanbieders van dergelijke tools. Als instelling moet je er zeker van zijn dat de tools aan de wet voldoen, wat eigenlijk niet heel moeilijk is, omdat die tools gecertificeerd moeten zijn voor hoog-risico gebruik. Ontbreken van deze certificering betekent dat je de betreffende tool niet voor het beoogde hoog-risico gebruik mag inzetten.

2. De instelling moet voor iedere hoog-risico toepassing een risicobeheersysteem opzetten. Daarin moet vastgelegd worden welke risico’s aan het gebruik kleven als het alleen gebruikt wordt voor het beoogde doel. Naast risico’s binnen het bedoelde gebruik, moet het systeem ook beschrijven welk gebruik mogelijk buiten het voorziene doel zou kunnen ontstaan en welke risico’s daarbij voorzienbaar zijn.  Tot slot moeten de risico’s die aan de dataverzameling op zichzelf zijn verbonden geïnventariseerd worden in het risicobeheersysteem. Het systeem moet vervolgens beschrijven hoe deze risico’s beheerst worden.

3. De risicobeheersing moet streven naar minimale impact op de grondrechten en fundamentele vrijheden van de personen die beoordeeld worden, en de restrisico’s moeten ‘aanvaardbaar’ zijn. Bij de risico-inschatting moet de opleiding in en ervaring met de betreffende AI toepassing van de gebruikers ervan meegenomen worden.

4. De instelling moet testen of de beheersmaatregelen wel effectief zijn.

5. De personen die beoordeeld gaan worden met de tools, moeten daarover vooraf geïnformeerd worden.

De lijst hierboven geeft een indruk van hetgeen waaraan instellingen zullen moeten voldoen. Hiernaast zijn er echter nog diverse andere eisen die de wet stelt en waaraan de instelling zal moeten voldoen.

Afwegingen bij ingebruikname AI in het onderwijs

Als een onderwijsinstelling AI wil gaan inzetten in het onderwijs, kan dat veel werk besparen. Het is echter belangrijk te beseffen dat het ook extra werk en extra organisatie zal vereisen. Iemand zal de risicobeoordelingen, de vastlegging daarvan, het formuleren van risicobeperkende maatregelen, de invoering daarvan en de organisatie van het testen van die maatregelen, allemaal moeten realiseren en daarbij zullen diverse mensen in de instelling doorlopend medewerking moeten blijven geven. Voor je werk kunt besparen, zal er op beheersingsniveau dus extra werk ontstaan.

Als een instelling de extra last van de beheersingsmaatregelen niet wil accepteren, mag zij geen AI invoeren op de hoog-risico toepassingen, wat er op neer komt dat het niet in de primaire onderwijsprocessen gebruikt mag gaan worden.

Damsté ondersteunt instellingen graag bij het inrichten van de organisatie die vereist is voor de toepassing van AI in de onderwijsprocessen.