Welke vragen stel je aan een AI-leverancier?

De demo was indrukwekkend. Het systeem vat dossiers samen, signaleert risico’s en scheelt consulenten uren per week. De accountmanager verzekert dat alles “volledig AI Act-proof” en “AVG-compliant” is. De offerte ligt klaar, het budget is er, en het team wil graag.

Dit is het moment om vragen te stellen. Niet na de ondertekening.

Het korte antwoord: vraag een leverancier niet óf het systeem aan de regels voldoet, maar hoe hij dat aantoont. Een leverancier die zijn zaken op orde heeft, heeft de antwoorden op papier. Een leverancier die dat niet heeft, vertelt je daarmee ook iets.

Waarom “AI Act-proof” weinig zegt

Een systeem is niet in z’n eentje compliant. Of je aan de AI-verordening voldoet, hangt ook af van hoe jij het inzet. De leverancier is meestal de aanbieder, jouw organisatie de gebruiksverantwoordelijke. Beide rollen hebben eigen plichten. Een leverancier kan zijn deel goed regelen en jij toch in de problemen komen, omdat je het systeem gebruikt voor iets waar het niet voor bedoeld is.

Hetzelfde geldt voor de AVG. “AVG-compliant” betekent weinig zolang niet duidelijk is welke gegevens er worden verwerkt, waar, door wie en met welk doel. Hoe die twee wetten samenhangen, lees je in dit artikel.

Vijf vragen om mee te beginnen

1. Welke rol heeft u onder de AI-verordening, en in welke risicoklasse valt dit systeem volgens u? Vraag om de onderbouwing, niet alleen het label. Zegt de leverancier “laag risico” voor een systeem dat meeweegt in toekenningen, dan wil je weten waarom.

2. Waar worden onze gegevens verwerkt en opgeslagen, en worden ze gebruikt om modellen te trainen? Binnen of buiten de EU? En als het antwoord op het tweede deel “nee” is: staat dat in het contract, of alleen in de brochure?

3. Wat gebeurt er als het systeem het fout heeft, en wie merkt dat als eerste? Elk AI-systeem maakt fouten. De vraag is of de leverancier weet hoe vaak, in welke situaties, en hoe je dat als gebruiker opmerkt voordat een inwoner er last van heeft.

4. Waar zit het menselijke besluit, en kan een medewerker de uitkomst echt negeren? Menselijk toezicht is meer dan een knop “akkoord”. Als het systeem zo is ingericht dat afwijken extra werk kost, wordt afwijken in de praktijk zeldzaam.

5. Wat gebeurt er met onze gegevens en processen als we over drie jaar willen stoppen? Kun je je data terugkrijgen in een bruikbaar formaat? Of zit je werkproces zo verweven met het systeem dat stoppen geen reële optie meer is?

Waar je op let in de antwoorden

De inhoud telt, maar de vorm zegt ook veel. Een paar signalen die mij alert maken:

• Antwoorden die verwijzen naar een algemene webpagina in plaats van naar documentatie over dit specifieke product.
• “Dat is de verantwoordelijkheid van de klant”, zonder uitleg over wat de leverancier zelf regelt.
• Geen verwerkersovereenkomst, of een die pas na ondertekening beschikbaar is.
• Enthousiasme over wat het systeem kan, en vaagheid over wat het niet kan.

Voor systemen met een hoog risico moet de aanbieder onder meer gebruiksinstructies leveren waarmee jij je eigen plichten kunt nakomen. Vraag daar gewoon naar.

Wat je niet uit een vragenlijst haalt

Een vragenlijst is een begin, geen eindoordeel. Test het systeem met een eigen, geanonimiseerde casus uit jullie praktijk. Vraag de leverancier om contact met een andere klant in het sociaal domein. En betrek je privacyfunctionaris vóórdat het contract er ligt, niet erna.

De eerlijke kanttekening

Inkoop van AI komt vaak terecht bij mensen die al vol zitten met andere taken, en die niet dagelijks met AI bezig zijn. Dat is geen verwijt aan hen, het is hoe organisaties werken. Maar het betekent wel dat de leverancier in het gesprek bijna altijd de meeste kennis heeft. Die ongelijkheid verdwijnt niet vanzelf.

De vijf vragen hierboven zijn een deel van de vragenlijst die ik zelf gebruik. In de AI-Leverancierscheck beoordeel ik een systeem op acht punten, met een groen-oranje-rood advies en, waar nodig, wat er moet gebeuren om het verantwoord in te zetten. Ik verkoop geen software en heb geen commissies of partnerschappen, dus ik heb geen belang bij de uitkomst.

Welke vraag had jij achteraf graag gesteld aan een leverancier, voordat je tekende?