Risico ‘losgeslagen’ AI-agents neemt snel toe in de financiële sector
Ruim 70% van de banken experimenteert al met agentic AI. Hierdoor neemt ook het risico van disfunctionerende AI-agents snel toe, waarschuwt AI-expert Simon Koolstra van de Amsterdamse AI-consultant Rewire. “De forse risico’s rond de inzet van agentic AI worden vaak onvoldoende onderkend en gemanaged.”
Agentic AI is de nieuwe fase in de AI-evolutie. Deze systemen evalueren zelfstandig data, trekken daar conclusies uit en nemen op basis daarvan beslissingen. Daar zit steeds vaker geen mens meer tussen. Het systeem bepaalt zelf welke stappen nodig zijn, voert die uit en past de aanpak aan wanneer de resultaten daarom vragen.
De inzet van AI agents biedt financiële dienstverleners op talrijke fronten concrete voordelen”, stelt AI-expert Simon Koolstra (Principal Data & AI Transformation van de Amsterdamse AI-consultant Rewire, die onder meer ABN AMRO, Rabobank, Aegon, Knab, Van Landschot Kempen en a.s.r. onder zijn klanten rekent).
Fraude-detectie en onboarding agents
Volgens Koolstra kunnen AI agents bijvoorbeeld goed worden ingezet om de doorlooptijd van kredietbeoordelingen aanzienlijk te verkorten, door de data-analyse en besluitvorming grotendeels te automatiseren. Fraude-detectie agents monitoren transacties in real time, combineren meerdere signalen tegelijk en grijpen waar nodig automatisch in.
Onboarding agents lezen documenten automatisch uit, voeren identiteitscontroles uit en draaien compliance-checks, uiteraard altijd nog met een menselijke reviewer. En AI agents bewijzen ook steeds vaker hun waarde in vermogensbeheer, waar ze adviseurs voorzien van actuele portefeuille-inzichten en kant-en-klare adviesvoorstellen op basis van individuele klantprofielen.
Commerciele use cases vs grondige governance
Onderzoek van MIT Technology Review toont dat ruim 70 procent van de banken al op deze en andere manieren experimenteert met agentic AI. Toch klagen veel executives dat hun AI-implementaties te snel gaan voor de interne risicocontroles. Dat levert dus onvermijdelijk een spanningsveld op, waarbij de druk om tot succesvolle commerciële use cases te komen de noodzaak voor grondige governance kan gaan overvleugelen.
Dat daar reële risico’s aan verbonden zijn blijkt uit een serie recente nieuws berichten rond ‘losgeslagen’ AI-agents. Daarbij valt op dat zelfs de grote techbedrijven zelf kennelijk niet in staat zijn hun agents onder controle te houden. Zo ging bij Amazon onlangs AI-agent Kiro opzichtig in de fout door in een klap honderden servers en databases weg te vagen. Resultaat van de losgeslagen agent: een storing van zo’n 13 uur en een financiële schade dievolgens Amazon zelf ‘in de miljoenen loopt’.
Agents of Chaos-rapport
Volgens twintig onderzoekers van Amerikaanse en Europese universiteiten, waaronder Stanford, MIT en het Max Planck Instituut, gaat het hier niet om enkele incidenten. Onlangs presenteerden zij een rapport onder de toepasselijke naam Agents of Chaos.Voor hun onderzoek creëerden ze een ‘realitische digitale werkomgeving’ waarin ze een aantal (onder meer op het populaire OpenClaw-platform ontwikkelde) AI-agents ‘loslieten’. Die volgden ze daarna twee weken lang op de voet.
Volgens de onderzoekers van de topuniversiteiten vertoonden de agents daarbij een lange lijst ‘zorgwekkend gedrag’. Ze voerden bijvoorbeeld zonder enige controle opdrachten van onbekenden uit, lekten gevoelige informatie, voerden ‘destructieve systeemacties’ uit en pleegden zelfs ‘identiteitsfraude’. Volgens de onderzoekers zit het echte probleem echter niet primair bij de agents zelf, maar in de wijze waarop veel bedrijven hun agents inzetten.
AI-expert Simon Koolstra onderschrijft die analyse. “Direct na de komst van de iPhone wilde elk bedrijf opeens een app”, constateert hij. “Veel bedrijven hadden echter geen idee wat ze daar precies mee wilden of konden, laat staan een mobiele strategie. Diezelfde hype zien we nu ook terug bij AI Agents. En dat is jammer, aangezien deze agents voor vrijwel elke organisatie van grote waarde kunnenzijn.”
Kracht AI-agents ook de achilleshiel
Volgens Koolstra kan de veelzijdigheid en brede inzetbaarheid van AI Agents direct ook de achilleshiel betekenen. “Dankzij hun link met grote taalmodellen ‘begrijpt’ de huidige generatie AI Agents onze taal”, legt hij uit. “Ze kunnen daardoor ook met veel verschillende IT-systemen schakelen. Maar om dat mogelijk te maken moet je die agents dan ook wel toegang geven tot al die systemen, tools en de data die daarin is verwerkt.”
En precies daar gaat het volgens Koolstra vaak fout. “Bij veel kleinere bedrijven mag iedereen zomaar gaan experimenteren met eigen agents en andere zelfstandig opererende AI-systemen”, constateert hij. “Maar ook bij grote corporates zie je dat bijvoorbeeld coding agents worden ingezet door mensen die zelf nauwelijks kunnen programmeren. Maar om te voorkomen dat een agent ‘uit de rails loopt’ en zo veel schade veroorzaakt moet je heel duidelijk kunnen aangeven wat die agents wel of niet mag.”
Uit onderzoek blijkt dat verreweg de meeste zogenaamde rogue agents gewoon hun opdrachten uitvoeren binnen de grenzen die ze van hun designer of gebruiker meekregen. Of beter gezegd: níet meekregen. Geen harde grenzen, geen scheiding tussen test- en productieomgevingen, geen duidelijke regels voor wat wel en niet mocht, onvoldoende mogelijkheden om schade te herstellen.
Rampzalige situaties
Er is weinig fantasie voor nodig om je voor te stellen tot wat voor rampzalige situaties dat kan leiden bij een financiële dienstverlener. Stel je bijvoorbeeld voor dat een onvoldoende ‘aangelijnde’ AI agent opeens rekeningen blokkeren, kredieten afwijzen, ongevraagd bedragen gaat overschrijven of overtredingen gaat melden bij de toezichthouder. Tel daarbij op dan zo’n agent in korte tijd duizenden transacties kan doen, en het advies voor duidelijke piketpaaltjes behoeft weinig toelichting meer.
Juist het ontwikkelen van de vereiste guard rails en governance-regels vereist volgens Koolstra héél veel kennis van zowel AI-technologie als de potentiële consequenties. Dat is bovendien ook zeer schaarse kennis, die in de meeste organisaties hooguit mondjesmaat beschikbaar is. "Ook daarom is het belangrijk voor C-level beslissers om het aantal ‘losse’AI-pilots te beperken, en voor elk afzonderlijk project héél goed na te denken over de strategische waarde en de potentiele risico’s.”
Explainable AI is key
Daarbij zou volgens de AI-expert onder meer veel aandacht moeten zijn voor decision scoping. Oftewel: welke beslissingen laat je aan machines over, en hoe kritiek zijn die? Bij activiteiten met grote impact, zoals bijvoorbeeld kredietbeslissingen, fraudedetectie of het blokkeren van rekeningen, zou de organisatie uiteraard meer tijd moeten investeren in het opstellen van strenge eisen, hogere kwaliteitsdrempels en duidelijke escalatiepaden naar menselijke medewerkers.
En hoewel dat wellicht een open deur is, kan Koolstra het belang niet genoeg benadrukken van betrokken, goed geïnformeerde medewerkers die precies weten waar ze mee bezig zijn. “Explainable AI, waarbij voor iedereen duidelijk is wat er gebeurt, is ook hier uiteraard essentieel”, stelt hij. “Dan heb ik het hier bijvoorbeeld ook over heldere beslissingslogica, traceerbare datastromen, doelstellingen en beperkingen die je achteraf kunt reconstrueren.”
Kun je niet uitleggen waarom een AI-agent iets op een bepaalde manier deed? Dan had je die niet autonoom moeten laten handelen, en heb je waarschijnlijk een groot probleem als je je klanten en toezichthouders moet informeren dat je agent ‘op hol is geslagen’.
