Évaluer les LLM pour la recherche d’informations dans les DME

• Les nouveaux modèles de langage d’apprentissage profond, ou LLM similaires à ChatGPT, ont généré de hautes attentes mais font face à des barrières en santé, telles que le risque d’« hallucinations » (informations fausses) et le besoin de déploiement interne et d’interprétabilité.
• La Génération Augmentée par Récupération (RAG) est une nouvelle méthode qui aborde cela en utilisant une base de connaissances pour influencer les réponses du modèle génératif, le forçant à répondre uniquement avec des passages existants et référencés.
• Cette approche élimine le problème des « hallucinations », assurant que l’extraction d’informations est 100 % transparente et auditable, ce qui s’aligne avec les réglementations entrantes comme la Loi européenne sur l’IA.
• Le projet évaluera une interface basée sur RAG qui recherche les documents des patients et met en évidence les passages pertinents, promouvant un « co-pilote d’exploration » plutôt qu’un remplacement d’écrivain.
• Évaluer un outil de recherche en langage naturel basé sur la génération augmentée par récupération (RAG)

Conception de l’étude et tests utilisateurs

• L’étude recrutera des étudiants en médecine de dernière année et les divisera en deux groupes. Le premier groupe utilisera le système de recherche basé sur RAG (CliniDocAssistant), et le groupe contrôle utilisera un système simple de filtrage par mots-clés.
• Pour chaque tâche, les participants auront un temps prédéfini pour explorer le DME et répondre aux questions sur le cas.
• L’objectif principal est d’évaluer l’impact de l’outil sur le temps passé dans le DME et la qualité de l’extraction d’informations.

Impact sur la qualité des soins

• Le projet vise à évaluer si l’outil peut réduire le temps passé dans le DME et améliorer la qualité de l’extraction d’informations.
• Un impact positif pourrait guider les développements futurs du DME institutionnel pour augmenter le temps disponible aux soignants pour les soins directs aux patients.