Welke medische AI is veilig in Europa? Wat de Amerikaanse tools je niet vertellen
Tijs Stehmann
Medisch gewetenKinderarts & oprichter Ask Aletta8 min leestijd
Vorige week gebeurde er iets opvallends in het Europese AI-landschap voor artsen. OpenEvidence, de grootste Amerikaanse AI-zoekmachine voor artsen, blokkeerde zelf de toegang voor Europese gebruikers, vanwege de EU AI Act. Een paar dagen eerder lanceerde OpenAI zijn nieuwe tool ChatGPT for Clinicians, maar alleen voor zorgverleners in de Verenigde Staten.
Twee ontwikkelingen in één week met dezelfde boodschap: medische AI die voor de VS is gebouwd, past meestal niet zomaar in Europa. Daar is vaak een fundamenteel herontwerp voor nodig. Dit is geen kwestie van even kopiëren en aan de andere kant van de oceaan uitrollen.
"So what?", kun je als arts of andere zorgverlener denken. Maar juist daarom is het belangrijk om hierbij stil te staan. Passen deze Amerikaanse oplossingen eigenlijk wel bij hoe wij zorg in Europa leveren en bij onze wet- en regelgeving? Met andere woorden: zijn ze hier wel veilig te gebruiken?
Wat betekent 'veilige AI' eigenlijk in de zorg?
'Veilig' klinkt simpel, maar voor medische AI betekent het meer dan alleen of de tool een goed antwoord geeft. Voor een arts gaat veiligheid over minstens drie dingen. En op elk van die punten kan een tool alsnog afvallen.
1. Medische inhoud en passende bronnen
Klopt het antwoord én sluit het aan bij de context waarin jij werkt? Veel AI-tools zijn ontwikkeld op basis van Amerikaanse zorginformatie en -context. Dat zie je terug in de antwoorden: wat daar logisch is, past hier niet altijd.
In Nederland heeft de huisarts bijvoorbeeld een belangrijke centrale rol, terwijl zorg in andere landen anders is georganiseerd. Ook voorschrijfgedrag, antibioticagebruik, verwijzingen en patiëntcommunicatie verschillen per land en regio.
2. Gegevensverwerking
Het gaat niet alleen om waar gegevens staan opgeslagen, maar vooral om wat er met die informatie gebeurt. Worden patiëntgegevens gebruikt of verwijderd? Wie kan erbij? En kun je als arts aan een patiënt of toezichthouder uitleggen wat er met die data gebeurt?
Dit is niet alleen een theoretisch risico. De Federatie Medisch Specialisten adviseert om generieke AI-chatbots niet te gebruiken in de directe patiëntenzorg, juist vanwege onduidelijkheid over hoe gegevens worden verwerkt en waar die terechtkomen.
De Algemene Verordening Gegevensbescherming (AVG) geeft daar kaders voor, maar de kern is praktisch: je moet controle houden over patiëntinformatie en kunnen verantwoorden hoe die wordt verwerkt. Dat gaat onder meer over toestemming, dataminimalisatie, opslag binnen de EU en voorkomen dat gegevens ongemerkt onder buitenlands recht vallen.
Onder onze regelgeving moet je als arts kunnen verantwoorden:
- waar patiëntgegevens naartoe gaan
- wie er toegang toe heeft
- hoe lang gegevens worden bewaard
- of een patiënt gegevens kan laten verwijderen
Daar komen twee praktische vereisten bij.
Ten eerste ben jij als arts vaak verwerkingsverantwoordelijke voor patiëntgegevens. Elke tool die die data verwerkt, moet een geldige verwerkersovereenkomst kunnen sluiten. Veel Amerikaanse tools bieden dit niet of alleen in een vorm die niet aansluit op wat de AVG vereist.
Ten tweede is er doelbinding. Data die jij invoert, mag alleen worden gebruikt voor het doel waarvoor jij die verwerkt: de zorg voor jouw patiënt. Als een tool diezelfde data ook gebruikt om zichzelf te verbeteren, is dat een ander doel. Daarvoor is aparte toestemming nodig, en die vraagt lang niet elke tool expliciet.
Bij Ask Aletta worden persoonlijke patiëntgegevens automatisch gefilterd voordat een vraag wordt verwerkt.
3. Wet- en regelgeving
Voldoet de tool aan de regels die hier gelden? Denk aan de EU AI Act, maar ook aan bestaande medische wetgeving en normen voor zorgsoftware, zoals de Medical Device Regulation (MDR). Dat klinkt logisch en overzichtelijk, maar in de praktijk is dit juist het lastigste onderdeel.
Veel van deze regels zijn nog nieuw of worden verschillend geïnterpreteerd. Wat vandaag acceptabel lijkt, kan over een paar maanden anders worden beoordeeld. Dat betekent dat je als arts niet alleen moet kijken of een tool nu 'mag', maar ook of die is gebouwd om binnen deze regels te blijven als ze strenger worden toegepast.
Juist daar zie je het verschil tussen tools die vanaf het begin voor de Europese context zijn ontworpen en oplossingen die later proberen aan te sluiten. Op dit punt liep OpenEvidence vast.
Voor een arts die een tool in de praktijk wil gebruiken, moeten alle drie de onderdelen kloppen. Als één of meerdere punten niet in orde zijn, kun je die tool eigenlijk niet verantwoord gebruiken, hoe goed de antwoorden ook lijken.
De medische ChatGPT lost het niet op
Lost een medische versie van ChatGPT dit probleem dan op? Niet echt. Met de drie punten hierboven kun je die vraag eigenlijk al beantwoorden.
Los van het feit dat ChatGPT for Clinicians op dit moment niet in Europa beschikbaar is, is de tool ontwikkeld voor de Amerikaanse zorg. Dat zie je terug in de bronnen waarop het systeem is gebaseerd, de voorbeelden die het gebruikt en de workflows die het ondersteunt.
Daardoor krijg je antwoorden die binnen de Amerikaanse context logisch zijn, maar niet vanzelf aansluiten op de Europese praktijk. Je kunt die dus niet één-op-één gebruiken in een Europese spreekkamer.
Ook in hoe er met data wordt omgegaan, zie je dat deze tools voor een andere context zijn ontworpen. De infrastructuur en opslag zijn vaak ingericht rond Amerikaanse zorgsystemen.
Voor een Nederlandse of Europese arts betekent dat al snel dat patiëntinformatie buiten de EU wordt verwerkt, of onder buitenlands recht valt. Daarmee raak je direct aan het medisch beroepsgeheim en aan de vraag of je nog kunt verantwoorden wat er met die gegevens gebeurt.
Dat is geen detail, maar een randvoorwaarde. Als je niet helder kunt maken waar de data staan en wie er toegang toe heeft, kun je zo'n tool niet gebruiken voor patiënteninformatie.
Het punt is dus niet of deze tools goed zijn, maar waar ze voor bedoeld zijn. Ze zijn ontwikkeld voor een zorgsysteem dat op meerdere punten verschilt van het onze. Voor Europese artsen betekent dat simpelweg dat je ze niet één-op-één kunt gebruiken in de spreekkamer.
Hetzelfde patroon zie je bij OpenEvidence. Dat de tool zich nu uit Europa heeft teruggetrokken, laat precies zien waar het hier om gaat: als een systeem niet vanaf het begin is ontworpen voor de Europese context, wordt het lastig om achteraf aan die eisen te voldoen.
Drie smaken medische AI-tools (vanuit Europees perspectief)
Als je als arts naar het huidige aanbod kijkt, zie je grofweg drie soorten medische AI-tools.
De eerste categorie zijn generieke AI-chatbots/taalmodellen, zoals ChatGPT van OpenAI, Claude van Anthropic en Gemini van Google. Dit zijn krachtige modellen voor algemene taken, maar ze zijn niet specifiek ontwikkeld voor medisch gebruik. Ze werken niet binnen het medisch beroepsgeheim en bieden geen garanties over hoe patiëntgegevens worden verwerkt. Mede daarom zijn ze ongeschikt voor gebruik met patiënteninformatie.
Daarnaast heb je gespecialiseerde medische AI uit de Verenigde Staten, zoals ChatGPT for Clinicians en OpenEvidence. Inhoudelijk vaak sterk, maar ontwikkeld binnen een ander zorgsysteem. Dat zie je terug in de richtlijnen, de workflows en de manier waarop met data wordt omgegaan. Daardoor zijn ze niet zonder meer toepasbaar in een Europese praktijk.
Tot slot is er een groeiende groep Europese medische AI-tools, waaronder Ask Aletta zelf. Deze zijn vanaf het begin ontworpen voor de Europese context, met lokale richtlijnen en bronnen, Europese infrastructuur en wet- en regelgeving als uitgangspunt. Dat maakt ze beter passend voor gebruik in de Europese zorgpraktijk.
Wat Europe-first eigenlijk betekent
Europe-first wordt inmiddels regelmatig als marketingterm gebruikt. Maar bij medische AI zou het vooral moeten gaan over ontwerpkeuzes: hoe is software vanaf het begin af aan ingericht en gebouwd?
Werkt een tool met Europese richtlijnen en bronnen, zijn die ook leidend en is het duidelijk welke bronnen bij een antwoord gebruikt worden? In Nederland gaat het dan om eerstelijnsrichtlijnen, specialistische protocollen, medicatie-informatie en andere betrouwbare medische bronnen.
Daarnaast speelt mee waar en onder welk recht de infrastructuur draait. Waar staat je data? Dat bepaalt of je als arts kunt uitleggen wat er met patiëntinformatie gebeurt.
Ook de manier waarop een tool omgaat met wet- en regelgeving maakt verschil. Europese regels zoals de EU AI Act en de AVG kun je niet achteraf 'toevoegen'. Die moet je vanaf het begin meenemen in hoe een systeem is ontworpen.
Tot slot: transparantie. Als arts moet je kunnen zien waar een antwoord op gebaseerd is. Op welke richtlijn rust het en kun je dat controleren? Zonder die herleidbaarheid wordt een advies al snel een black box.
Wat dit betekent voor een arts die een AI-tool moet kiezen?
Wat betekent dit concreet als je als arts overweegt om een AI-tool te gebruiken? Het begint met een paar basisvragen.
Waar zijn de antwoorden op gebaseerd en hoe actueel is die informatie? Je wilt weten welke richtlijnen en andere betrouwbare bronnen worden gebruikt en hoe vaak die worden bijgewerkt.
Wat gebeurt er met je data? Waar wordt die opgeslagen en onder welk recht valt die? Als dat niet helder is of buiten Europa ligt, kun je zo'n tool niet gebruiken voor patiënteninformatie.
En tot slot: hoe verhoudt de tool zich tot de regels die hier gelden? Denk aan de EU AI Act en bestaande medische wetgeving. Als een leverancier daar geen duidelijk verhaal bij heeft, is dat een signaal dat de tool nog niet klaar is voor gebruik in de Europese praktijk.
Dit zijn geen theoretische overwegingen, maar praktische voorwaarden voor gebruik in de spreekkamer. Het zijn precies de punten waarop tools in de praktijk vastlopen.
Het Europese moment
Er lijkt iets te veranderen in de markt (en wereld). Waar Amerikaanse producten lange tijd vanzelfsprekend leken, wordt nu duidelijk dat ze niet altijd passen binnen de Europese zorgpraktijk.
Met nieuwe regelgeving zoals de EU AI Act en partijen die hun toegang moeten beperken, wordt zichtbaar dat hier andere eisen gelden. Dat heeft gevolgen voor wat je als arts wel en niet verantwoord kunt gebruiken.
Met Ask Aletta kiezen we er bewust voor om te bouwen voor de Europese praktijk: met lokale richtlijnen en bronnen, Europese infrastructuur, transparantie en veiligheid als uitgangspunt.
Dat betekent dat de keuzes die eerder in deze blog besproken zijn, vanaf het begin zijn meegenomen in het ontwerp van de tool.
Veelgestelde vragen over veilige medische AI in Europa
Mag ik ChatGPT gebruiken voor medische vragen?
Voor algemene, niet-patiëntgebonden vragen kan dat. Maar zodra er patiëntinformatie in het spel is, wordt het problematisch. Je weet niet precies wat er met die gegevens gebeurt, en daarmee kun je het niet goed verantwoorden binnen het medisch beroepsgeheim.
Is ChatGPT for Clinicians beschikbaar in Nederland?
Op dit moment niet. De tool is eerst uitgerold voor Amerikaanse zorgverleners. En ook als die beschikbaar komt in Europa, blijft het een systeem dat is ontwikkeld voor de Amerikaanse zorgpraktijk, met andere richtlijnen en bronnen én een andere manier van omgaan met data.
Wat zegt de EU AI Act over medische AI?
Veel toepassingen in de zorg vallen onder de categorie 'hoog risico'. Dat betekent dat er eisen gelden rond transparantie, menselijke controle en risicobeheer. Tegelijk is een deel van de praktische invulling nog in ontwikkeling, waardoor het niet altijd zwart-wit is wat wel en niet mag.
Welke Europese alternatieven zijn er?
Er ontstaat een groeiend aanbod van medische AI-tools die specifiek voor de Europese context zijn ontwikkeld. Ask Aletta is daar een voorbeeld van, met focus op Nederlandse richtlijnen, bronnen en transparantie in de bron van antwoorden. Andere partijen richten zich meer op specifieke toepassingen, zoals spraak-naar-tekst, beeldvorming of triage.
Wat als ik nu al een Amerikaanse tool gebruik?
Kijk dan kritisch naar drie dingen: waar de antwoorden op gebaseerd zijn, wat er met je data gebeurt en hoe de tool zich verhoudt tot Europese regelgeving. Als je daar geen duidelijk antwoord op krijgt, neem je een risico dat niet altijd direct zichtbaar is.
Zelf uitproberen
Benieuwd hoe een Europese medische AI-tool er in de praktijk werkt? Je kunt Ask Aletta zelf uitproberen en kijken of het aansluit op jouw manier van werken.