AI in de financiële sector voor risicomanagers - hier zijn toezichthouders naar op zoek

De autoriteit persoonsgegevens (AP) geeft sinds voorjaar 2023 tweemaal per jaar een uitgebreide rapportage over de risico’s van AI en algoritmes. Vorige zomer lag de nadruk op de ‘onstuimige groei’ van AI-technologie, de zoektocht voor wet- en regelgeving naar houvast op de ontwikkelingen, zorgen om de invloed van AI op de democratie en systemen die personen kunnen profileren en selecteren met behulp van AI en algoritmes. Deze winter lag de nadruk op risico’s met betrekking op grondrechten en publieke waarden en de voor- en nadelen van chatbotapps als virtuele vrienden en therapeuten.

De punten uit het rapport van de AP die het meest relevant zijn voor financiële instellingen, en ook voor de pensioensector, gaan over de registratie van AI-systemen die nu nog tekortschiet, de noodzaak voor betere uitlegbaarheid en transparantie van AI-systemen en het verbeteren van AI-voorlichtingen en AI-geletterdheid. Deze punten staan ook in lijn met de implementatie van de EU AI Act. AI-systemen die volgens de verordening in de categorie ‘Hoog-Risico’ vallen moeten verplicht geregistreerd worden. Zorgen om discriminatie en bias in systemen die bijvoorbeeld credit-checks en risicoprofileringen uit kunnen voeren voor personen blijft een punt waar de toezichthouder het belang van menselijk toezicht en steekproeven benadrukt.  

De Nederlandsche Bank (DNB) verstuurt ieder jaar een vragenlijst naar (arbeidsvoorwaardelijke) financiële instellingen. Dit jaar ging een groot aandeel van deze vragen over het gebruik van AI en algoritmes, waarin een sterke overlap met het rapport van de AP te zien is. Hieronder een aantal vragen van DNB als voorbeeld:

1. Hoe belangrijk is het investeren in AI en AI-toepassingen voor het toekomstig verdienmodel van uw instelling op korte termijn?
2. Heeft u een risk assessment uitgevoerd op de AI-toepassingen in uw organisatie conform de risicoclassificering in de AI Act?
3. Hoeveel van uw AI-toepassingen vallen in de categorie die in de AI Act als ‘high risk’ wordt gedefinieerd?

DNB legt een grotere nadruk op de naleving van de EU AI Act en vraagt om een verklaring dat er een AI-risicobeoordeling heeft plaatsgevonden conform de risicoclassificering in de AI-Act. DNB wil weten of AI-systemen bij derde partijen worden afgenomen, waar ze als dat zo is voor gebruikt worden en of ze in een speciaal register worden bijgehouden. Daarnaast wijst DNB ook naar de principes van de European Insurance and Occupational Pensions Authority (EIOPA), met de vraag of deze worden gehandhaafd. Deze richten zich op een aantal thema’s die van groot belang zijn voor AI, namelijk:

• Proportionaliteit
• Fairness en non-discriminatie
• Transparantie en uitlegbaarheid
• Menselijk toezicht
• Data governance en administratie
• Robuustheid en performance

Ter inspiratie voor risicomanagers in de financiële sector kijken we naar andere sectoren die al langer te maken hebben met de wetgeving omtrent AI.

Cross-sectorale inspiratie voor risicomanagers

Naarmate de eisen voor AI-risicobeheersing voor de financiële sector worden aangescherpt, is het voor risicomanagers van financiële instellingen (en ook de pensioensector) waardevol om nieuwsgierig op zoek te gaan naar inspiratie bij andere sectoren waar de regelgeving al langere tijd nauwlettend toeziet op AI en algoritmerisico’s. Veel van de bijzondere wetgeving met betrekking tot AI uit specifieke sectoren zal naar verwachting op den duur breder geïmplementeerd worden.

In de publieke sector wordt bijvoorbeeld gebruikgemaakt van aselecte steekproeven en verplichte audits door externe partijen. In Nederland wordt bijvoorbeeld de Belastingdienst periodiek gecontroleerd door de Algemene Rekenkamer op het correct gebruik van AI in fraudedetectiesystemen. Gemeenten hebben algoritmeregisters opgezet waarin burgers kunnen nagaan welke AI-modellen worden gebruikt voor besluitvorming. Dit heeft geleid tot verbeteringen in transparantie en de mogelijkheid voor burgers om bezwaar te maken tegen geautomatiseerde beslissingen.

Een ander voorbeeld dat in veel gevallen in hetzelfde gebouw te vinden zal zijn, is de IT en Cybersecurity. AI speelt hier een cruciale rol bij het detecteren en voorkomen van cyberaanvallen, het automatisch identificeren van kwetsbaarheden en het verbeteren van responsmechanismen bij incidenten. Beveiligingssystemen moeten door de Digital Operations Resilience Act (DORA) doorlopend grondig worden nagelopen en geverifieerd met menselijke controles en penetratietesten, waarbij er alles aan wordt gedaan om het systeem een fout te laten maken. In de praktijk implementeren banken, pensioenuitvoerders en verzekeraars bijvoorbeeld 'red teaming'-oefeningen waarbij ethische hackers AI-systemen testen op kwetsbaarheden. Ook werken sommige financiële instellingen met geautomatiseerde monitoringtools die continu afwijkend gedrag detecteren en compliance-afdelingen direct waarschuwen.

In andere sectoren is er veel ervaring met AI-systemen met een ‘Hoog Risico’-niveau volgens de classificering in de AI Act, zoals de gezondheidszorg en de luchtvaart. In de gezondheidszorg implementeren ziekenhuizen bijvoorbeeld AI-verificatieprotocollen waarbij elke AI-diagnose door een menselijke arts wordt gevalideerd voordat een beslissing wordt genomen. Daarnaast wordt AI in de luchtvaart getest in gesimuleerde omgevingen voordat deze in de praktijk wordt ingezet. Luchtvaartmaatschappijen maken ook gebruik van 'explainable AI'-technieken, zodat piloten en technici kunnen begrijpen hoe AI-systemen tot bepaalde aanbevelingen komen.

Ten slotte is er in de e-commerce sector en door sociale media platforms veel vooruitgang geboekt op het gebied van AI-transparantie gericht op gebruikers. Grote sociale media platforms en webwinkels moeten door de Digital Services Act (DSA) aan hun gebruikers vermelden wanneer advertenties of contentaanbevelingen door middel van AI worden gemaakt. In de praktijk heeft bijvoorbeeld Facebook een 'Why am I seeing this ad?'-functie geïmplementeerd waarmee gebruikers inzicht krijgen in de reden achter advertentieplaatsing. Webwinkels zoals Amazon geven klanten de mogelijkheid om gepersonaliseerde aanbevelingen te beheren en in te zien hoe hun interacties met het platform de aanbevelingssystemen beïnvloeden.

De financiële sector kan lessen trekken uit deze praktijkvoorbeelden en regelgeving om de veiligheid, uitlegbaarheid en transparantie van AI-systemen te verbeteren en beter voorbereid te zijn op toekomstige wet- en regelgeving.

AI aandachtspunten voor risicomanagers

Het belangrijkste document voor beide toezichthouders met betrekking tot AI-veiligheid en compliance is op dit moment de EU AI Act. Begin februari was de deadline voor het uitfaseren van verboden AI-praktijken. Aanstaande augustus treden specifieke regels met betrekking tot Generative AI in werking die in mei definitief bekend gemaakt zullen worden. In augustus 2026 zullen de meeste bepalingen in de act van toepassing zijn. De nadruk voor DNB en de AP ligt nu op het verzorgen van de naleving van de act en de benodigdheden om dat mogelijk te maken.

Het vertrekpunt voor instellingen om naleving van de AI-Act te kunnen realiseren is een risicobeoordeling volgens de classificering uit de verordening. Het belangrijkste hierbij is dat risicomanagers en bestuurders zich acuut bewust zijn van systemen die zich in het ‘Hoog Risico’ domein begeven. Dit zijn onder andere de eerdergenoemde systemen die met behulp van AI-personen kunnen profileren en deze informatie kunnen inzetten bij fraudedetectie, kredietbeslissingen of dergelijke functies met potentieel ruïneuze resultaten. Deze systemen moeten verplicht geregistreerd worden en aan strenge eisen en menselijke controle voldoen. Het AP waarschuwt dat met het tekort aan registraties van AI-systemen er zorgen ontstaan dat er meer risicovolle AI-systemen bestaan dan momenteel kan worden overzien, en dat instellingen het risiconiveau van hun AI-systeem mogelijk nog onderschatten.

                  De AP en DNB hebben behoefte aan meer overzicht en inzicht in hoe AI gebruikt wordt in de financiële sector en daar voorbij. De transparantie van AI-systemen, voor welke taken en beslissingen het wordt gebruikt en hoe het deze uitvoert, waar de systemen vandaan komen in geval van uitbestedingen, in hoeverre incidenten geregistreerd en gemeld worden bij de toezichthouder en waar en wanneer er menselijke controle wordt gegarandeerd zijn allen punten waar de toezichthouder zo veel mogelijk duidelijkheid over moet krijgen om toe te kunnen zien op naleving van de AI Act.   

Vooruit blijven kijken

De AI Act is een levend document, een jaar in de wereld van kunstmatige intelligentie kan veel veranderingen en ontdekkingen bevatten. Het is onwaarschijnlijk dat de verordening tot aan augustus volgend jaar onveranderd zal blijven staan. Daarom is belangrijk voor risicomanagers om verder te kijken dan de vastgelegde wetgeving. De ontwikkeling van AI-technologie heeft een stevige voorsprong op wet- en regelgeving waardoor er een grijs gebied kan ontstaan van nieuwe AI-toepassingen die nog aan regels gebonden moeten worden. Europa is vooruitstrevend op het gebied van de regulering van AI en algoritmes, er wordt grote waarde gehecht aan het beschermen van de ethische normen en waarden, veiligheid van burgers, mensenrechten en de democratische integriteit. In de VS en Azië wordt momenteel nog met meer vrijheid en minder toezicht geëxperimenteerd met AI. Door de ontwikkelingen buiten Europa in het oog te houden kan beter worden geanticipeerd op bruikbare toepassingen van nieuwe technologie, en op toepassingen die in Europa verboden of strenger gereguleerd zullen worden dan elders. Er zullen ook meer wetten en regels dan alleen de AI Act worden opgesteld, zoals de Digital Fairness Act die nu in voorbereiding is bij de Europese Commissie met gevolgen voor AI-toepassingen gericht op gebruikers van sociale media, webwinkels, video games en andere online content.

Tot slot

De implementatie van de AI Act begint een nieuw tijdperk in AI-regulering. Waardegedreven Risk & Compliance kan nu voor financiële instellingen een vertrekpunt zijn om voorop te komen lopen in verantwoord AI-gebruik. Transparantie, uitlegbaarheid en risicobeheersing moeten geen verplichting zijn, maar een integraal onderdeel van AI-strategieën. Door inspiratie te halen uit andere sectoren en vooruit te kijken naar toekomstige regelgeving, kunnen financiële instellingen blijvend voldoen aan de eisen van toezichthouders, en tegelijkertijd het vertrouwen van klanten en stakeholders versterken.

Concrete actiepunten voor risicomanagers:

1. Maak een AI beleid passend bij de (IT) strategie
2. Bepaal het risicoprofiel voor AI dat past in het risicomanagementbeleid
3. Voer een grondige AI-risicobeoordeling uit én implementeer fairness risicobeoordelingen
4. Registreer alle AI-systemen in een register
5. Zorg voor uitlegbare AI-beslissingen
6. Blijf wendbaar en alert door geïnformeerd te blijven over AI-ontwikkelingen
7. Monitor regelmatig het effect op je eigen risicoraamwerk.