AI op de werkvloer: verboden systemen en hoogrisicosystemen

Verbod op gebruik onaanvaardbare AI-systemen

Sinds 2 februari 2025 geldt op grond van artikel 5 van de AI-Verordening al een verbod op het gebruik van AI-systemen met een onaanvaardbaar risico. 

Onaanvaardbare AI-systemen op de werkvloer zijn onder andere:

• systemen die emoties kunnen herkennen op de werkplek (zoals stress of boosheid, wat bijvoorbeeld gemeten kan worden via smartwatches. Deze systemen worden vaak gebruikt met als doel het welzijn van werknemers te bevorderen);

• systemen die mensen kunnen categoriseren op basis van biometrische gegevens (en zo bijvoorbeeld een vakbondslidmaatschap kunnen voorspellen); en

• systemen die werknemers tijdens hun werkzaamheden kunnen monitoren op oplettendheid en die signalen afgeven om de werknemer scherp te houden (denk aan camerasystemen met AI die worden ingezet om risico’s op arbeidsongevallen te herkennen). 

Verder kan gedacht worden aan een social scoring AI-systeem. Dit zijn systemen die worden gebruikt om een ‘’sociale score’’ bij te houden door personen of groepen personen te evalueren of classificeren op basis van hun sociale gedrag of persoonlijke kernmerken (zoals etniciteit of opleidingsniveau), vaak met als doel om op basis van die scores arbeidsrechtelijke beslissingen te nemen. 

In arbeidsrelaties zijn niet alle beoordelingssystemen (lees: social scoring systemen) verboden. Er geldt alleen een verbod op het gebruik van dergelijke systemen op basis van gedrag of persoonlijkheidskenmerken als dit leidt tot ‘’een nadelige of ongunstige behandeling van bepaalde natuurlijke personen of groepen personen in een sociale context die geen verband houdt met de context waarin deze data oorspronkelijk werd gegenereerd of verzameld’’.

Voorbeelden hoogrisicosystemen

Het gebruik van onaanvaardbare AI-systemen op de werkvloer – waarvoor je kunt worden bestraft met de zwaarste categorie sancties, vaak geldboetes van miljoenen euro’s – zal in de praktijk wellicht niet vaak voorkomen. Worden er binnen jouw organisatie AI-systemen gebruikt, dan is het belangrijk(er) om vast te stellen of dit systeem geen hoogrisicosysteem is. AI-systemen die op de werkvloer worden gebruikt worden nu eenmaal vaak als hoogrisicosysteem gekwalificeerd, omdat deze direct invloed hebben op de veiligheid en rechten van werknemers. Voorbeelden van hoogrisicosystemen in de werkcontext zijn (software)systemen die worden gebruikt voor:

• het sorteren van cv’s in werving- en selectieprocedures (denk aan een AI sollicitatie-systeem dat automatisch cv’s selecteert voor de volgende ronde in een wervingsprocedure);

• het plaatsen van gerichte vacatures (denk aan het volledig door AI laten schrijven van een vacature);

• het analyseren en filteren van sollicitaties;

• het beoordelen (en dus ook afwijzen) van sollicitanten;

• het monitoren en evalueren van prestaties van werknemers;

• het beheer van verzuim; en 

• systemen die worden gebruikt om uiteindelijk besluiten te nemen die van invloed zijn op de arbeidsvoorwaarden, promotie of ontslag van werknemers.

Verplichtingen voor werkgevers bij gebruik van hoogrisicosystemen

Als een AI-systeem als een hoogrisicosysteem wordt aangemerkt, dan moet dat systeem aan verschillende vereisten voldoen. De meeste verplichtingen gelden voor de ontwikkelaar en aanbieder van het systeem. Als werkgever ben je dat meestal niet zelf, tenzij je het AI-systeem zelf ontwikkelt. Werkgevers zijn meestal alleen gebruikers van AI-systemen. Dit geldt bijvoorbeeld ook wanneer je gebruikmaakt van AI bij sollicitaties of andere HR-processen. Een AI sollicitatie-systeem kan daarbij helpen, maar brengt ook specifieke verplichtingen met zich mee. Als gebruiker van AI-systemen moet je je als werkgever aan de volgende verplichtingen houden:

• gebruik het systeem volgens de handleiding van de aanbieder;

• train je werknemers in het gebruik van AI en maak hen bewust van kansen en risico’s. Leg ook uit hoe AI-resultaten moeten worden geïnterpreteerd en breng onder de aandacht dat je altijd menselijk toezicht toe moet passen (hierover vertellen wij in ons volgende artikel meer);

• zorg ervoor dat de ingevoerde data representatief en relevant is;

• monitor het systeem vrijwel continu;

• bewaar logbestanden minimaal zes maanden;

• informeer werknemers dat zij worden onderworpen aan een AI-systeem; en

• zorg dat je het AI-systeem op elk moment kunt stoppen.

Een concreet voorbeeld van een HR-proces waarin een AI-systeem heel goed ingezet zou kunnen worden, is in een sollicitatieprocedure. Denk bijvoorbeeld aan een AI sollicitatie-systeem dat wordt gebruikt om sollicitanten te analyseren, cv’s te beoordelen of kandidaten te selecteren. Beoordeel je een sollicitant op basis van een AI-systeem en/of wijs je deze sollicitant af op basis van een beslissing die is voorbereid met behulp van een AI-systeem, dan is dat AI-systeem een hoog risico en moet je je als werkgever onder andere aan bovenstaande verplichtingen houden. Je bent dan ook verplicht de sollicitant te informeren over het feit dat deze beslissing tot stand is gekomen met behulp van een AI-systeem. De sollicitant zou hier vervolgens verdere vragen over kunnen stellen. 

Een ander voorbeeld van een HR-proces waarin AI-systemen met enige regelmaat ingezet zullen worden, is bij functioneringstrajecten. Denk aan een systeem op basis waarvan de prestaties van een werknemer worden beoordeeld. Ook dat kwalificeert als een hoogrisicosysteem. Als je dit gebruikt, zorg er dan voor dat je je houdt aan de verplichtingen zoals hierboven beschreven. Schending van deze verplichtingen kan namelijk tot forse sancties leiden.