Een betrouwbaar AI-systeem voor samenvattingen

De cijfers liegen er niet om: mensen vergeten ontzettend veel van de gesprekken die ze voeren met zorgprofessionals [1-3]. Met Ditto maken gebruikers een opname van het gesprek. Die opname luisteren vrij veel mensen terug - vooral in het geval van een ernstige diagnose. Ditto doet meer: we maken met behulp van AI een samenvatting. Het presenteren van gesproken informatie in gestructureerde tekst - met heldere kopjes - wordt door Ditto gebruikers ontzettend gewaardeerd: we maakten inmiddels meer dan 20.000 samenvattingen. Die samenvatting kan de patiënt thuis teruglezen en delen met naasten. 

We steken daarom veel tijd in het ontwikkelen van het AI systeem van Ditto - noem het de Ditto motor - én in het evalueren ervan. Dit stuk gaat over een onderzoek dat we gedaan om ons systeem te evalueren en te kijken hoe goed het is. Omdat we van samenvattingen houden in het kort: het resultaat van dit onderzoek was dat ons AI systeem natuurlijk kleine fouten kan maken, maar geen enkele keer een onveilige samenvatting heeft gemaakt. Daarnaast functioneerde ons systeem het beste van alle 8 andere vergelijkbare systemen die we hebben getest.

De twee belangrijkste vragen die je kunt stellen over ons medisch AI systeem

De eerste is of de Ditto AI motor eigenlijk kundig is: kan het een medisch gesprek goed samenvatten? Een studie uit 2024 in *Nature Medicine* vond dat taalmodellen, eenmaal aangepast voor een specifieke taak, in 81% van de gevallen even goed of beter samenvatten dan clinici [4].

De tweede vraag is of een AI systeem op een veilige manier gebruikt kan worden in de zorg. Het antwoord hierop is niet zo simpel. Zelfs de sterkste AI-modellen verzinnen af en toe iets, dit verschijnsel noemen we een hallucinatie. Dat kan in tot wel 1.47% van de zinnen die beoordeeld zijn voorkomen [5]. Zo'n foutmarge is prima in de meeste software - bijvoorbeeld bij het voorspellen van de aankomsttijd van je pakketje- maar niet in het geval van je gezondheid. Ons onderzoek richtte zich daarom volledig op veiligheid en betrouwbaarheid: hoe vaak doet ons systeem iets fout, en hoe ernstig is dat dan?

Het onderzoek: onze methode

Om de twee vragen (kundig en veilig) te beantwoorden hebben we een studie uitgevoerd. We vergeleken de versie van onze AI motor die vandaag in de app draait met acht alternatieven. Sommige alternatieven gebruikten andere AI-modellen, andere kregen heel andere instructies. Eén versie maakte expres fouten. Dat systeem noemen we nu de mol. Deze versie hebben we toegevoegd, omdat we niet alleen het systeem wilden testen, maar ook onze beoordelaars. Als medische experts de mol niet konden onderscheiden van de goede versies, zijn hun beoordelingen natuurlijk weinig waard. 

Vervolgens lieten we 12 medische professionals 1010 vergelijkingen zien van steeds twee samenvattingen naast elkaar. We vroegen ze om de beste samenvatting te kiezen. Dit deden ze op basis van vijf kwaliteitscriteria, waaronder medische nauwkeurigheid. Natuurlijk konden de experts niet zien hoe een samenvatting was gemaakt.

De beoordelaars konden de samenvattingen wel vrij aanpassen. Daarmee gaven ze uitleg en context geven over hun beslissingen. We kozen voor deze opzet omdat mensen veel betrouwbaarder zijn in het oordeel "welke van deze twee is beter" dan het scoren van een losse samenvatting. Of, anders gezegd, pas als je een alternatief ziet, kun je beter beoordelen hoe goed een samenvatting is.

Dan technisch. De beoordelingen van de experts hebben we vervolgens gebruikt om met behulp van de Bradley-Terry methode een rangschikking te maken van alle systemen. Welk systeem werkt het beste?  De Ditto motor is door de medische professionals als beste aangemerkt. De mol werd als slechtste aangemerkt.

Alle fouten zijn ongewenst, maar niet alle fouten zijn even erg

Niet alle fouten hebben dezelfde impact of gevolgen. Daarom classificeren wij fouten die de AI motor maakt. Met een laag risico bedoelen we: fouten die je liever niet wil maken, maar die geen gevaar vormen voor de patiënt. Voorbeelden hiervan zijn: een gebrek aan nuance of een versimpeling. Fouten die echt onveilig zijn vormen een directe bedreiging voor de patiënt en wil je altijd vermijden. Denk bijvoorbeeld aan een verzonnen medicijn, of een verkeerde diagnose. Volgens de beoordelaars vielen alle fouten die de Ditto motor maakte in de categorie ”laag risico". Totaal waren dit er drie.

Het helpt om te zien wat zo'n fout nu precies is. In één gesprek beschreef de patiënt hartkloppingen en een onregelmatige hartslag. De arts was die klachten nog aan het onderzoeken. Onze samenvatting schreef: "Dit heet een hartritmestoornis." Het woord "mogelijk" ontbrak. Twee beoordelaars zagen dit onafhankelijk van elkaar. Met deze informatie hebben we gelijk ons systeem verbeterd door de AI te instrueren woorden als "mogelijk" te behouden zolang een diagnose nog niet bevestigd is. 

Wat doen we met dit onderzoek?

We gebruiken dit onderzoek dus niet alleen om inzicht te krijgen in de kwaliteit van ons systeem, maar ook om ons systeem te verbeteren. Hoe werkt dat? Bij Ditto voeren we natuurlijk kwaliteitscontroles uit, op elke samenvatting die gegenereerd wordt. Dit doen we op twee manieren: 

• Vanuit een cockpit houden we in de gaten hoe goed onze samenvattingen zijn. Dat is lastig, omdat we zelf niet bij de opnames of de samenvattingen kunnen komen. De kwalificatie van goed is niet eenvoudig: we kijken naar het aantal woorden, complexiteit, woorddichtheid en accuraatheid.

• Een aantal van deze kwaliteitscontroles hebben we aangemerkt als “guardrails”, of in het Nederlands: vangrails. Deze vangrails zijn cruciaal. Als de kwaliteitscontrole van een van deze vangrails niet positief is, geven wij de samenvatting niet terug aan de patiënt. Een gebruiker kan dan hulp vragen aan een dokter in dienst van Ditto. Niet voor medisch advies, maar wel voor een leesbare samenvatting van een gesprek. 

Hoe ziet zo’n vangrail eruit? Dit zijn een aantal voorbeelden die wij op dit moment gebruiken (we scherpen deze constant aan om Ditto te verbeteren):

• Medicatiecheck: een systeem dat een medicijnen database gebruikt om te evalueren of er medicijnen zijn verzonnen of vergeten in de samenvatting.

• Hallucinatie Detector: een controle die bekijkt of er zaken in de samenvatting zijn genoemd die helemaal niet in het gesprek zijn genoemd

Belangrijk om te weten: er kijkt geen mens mee. De controles zijn ingebouwd in het systeem zelf. Vergelijk ze met snelheidsmeters die we vooraf, met een testset, hebben afgesteld. In het dagelijks gebruik zien wij alleen óf een meter uitslaat. We zien niet welke auto het is of waar die rijdt: de inhoud van het gesprek blijft privé.

Het gebruiken van AI in een medische setting is vanzelfsprekend spannend. We bevinden ons op de grenzen van wat nieuwe technologie kan. Voor ons weegt het begrip van patiënten ontzettend zwaar. Door hen op kwetsbare momenten van begrijpelijke informatie te voorzien, voorziet Ditto in een grote behoefte én een verplichting van de zorgverleners om begrijpelijk en duidelijk te communiceren. In het onderzoek dat we hierboven beschrijven, geven we een kijkje onder de motorkap van Ditto. 

Dit werk is niet op de stapel blijven liggen. Het leidde al tot verschillende verbeteringen in de logica en configuratie van de AI van Ditto, van de woordkeuzeverbetering hierboven tot aanpassingen in hoe het systeem is ingericht en gecontroleerd. We presenteerden de methode en resultaten op Supporting Health by Technology 2026 in Groningen, als gezamenlijk werk met Anne Schuth. Het team van Ditto bestaat voor een groot deel uit (voormalig) wetenschappers, die zijn gepromoveerd op het gebruik van AI-technologie. 

Je kan het hele whitepaper hier lezen.

Heb je meer vragen? Of ben je een medische professional die wil helpen onze validatie te beoordelen en te versterken? We horen graag van je!

[1] Kessels, R. P. (2003). Patients’ memory for medical information. Journal of the Royal Society of Medicine, 96(5), 219-222. https://journals.sagepub.com/doi/pdf/10.1177/014107680309600504

[2] Jansen, J., et al., “Recall in Older Cancer Patients: Measuring Memory for Medical Information.“The Gerontologist; Volume 48:2, (2008):149–157, https://doi.org/10.1093/geront/48.2.149 

[3] Hoek, Amber E et al. “Effective strategy for improving instructions for analgesic use in the emergency department.” European Journal of Emergency Medicine; Volume 48, (2013): 210-3. https://doi:10.1097/MEJ.0b013e328357a6dd

[4] Van Veen, D., Van Uden, C., Blankemeier, L., et al. (2024). "Adapted large language models can outperform medical experts in clinical text summarization." Nature Medicine, 30, 1134–1142.

[5] Asgari, E., Montaña-Brown, N., Dubois, M., Khalil, S., Balloch, J., Au Yeung, J., & Pimenta, D. (2025). "A framework to assess clinical safety and hallucination rates of LLMs for medical text summarisation." npj Digital Medicine, 8, 274.