Un travail de recherche publié dans le cadre de la série externe de publications du RAND Health s’intéresse à l’évaluation des modèles d’intelligence artificielle (IA) appliqués à la santé, en particulier les grands modèles de langage utilisés pour des tâches de conseil ou d’échange en santé. Les auteurs analysent le benchmark « HealthBench », qui regroupe 5 000 conversations de santé en plusieurs tours, et montrent que les scores globaux fournis par ce type d’outil peuvent masquer des variations importantes de performance selon les domaines cliniques, notamment en santé mentale.
Les conversations étudiées incluent des situations complexes comportant des enjeux de sécurité : idées suicidaires, psychose, troubles du comportement alimentaire, traumatismes, dépendance relationnelle. Ces situations exigent de l’IA la capacité à reconnaître des signaux parfois ambigus, à répondre de manière prudente en contexte d’incertitude, à ne pas renforcer des croyances ou comportements nocifs, à éviter une relation de dépendance excessive et à savoir orienter vers un soutien humain spécialisé, en particulier en cas de crise.
Les auteurs proposent que HealthBench et des benchmarks similaires publient des résultats par domaine clinique. Pour en démontrer la faisabilité, ils ont utilisé un jeu de données classifié par OpenAI afin d’identifier 332 conversations relevant de la santé mentale, puis ont validé cette sélection par une relecture humaine. Ils rapportent une sensibilité de 0,980, une spécificité de 1,000, une valeur prédictive positive de 1,000, une valeur prédictive négative de 0,980, un score F1 de 0,990 et un accord inter-juges de 99,0 %, ce qui suggère une bonne fiabilité de l’identification des conversations de santé mentale.
À partir d’un échantillon aléatoire stratifié de 500 conversations, la performance des modèles a été analysée séparément pour le domaine de la santé mentale et pour l’ensemble de HealthBench. Les estimations ponctuelles de performance pour la santé mentale différaient des estimations globales de −0,034 à +0,047 selon les déploiements, ce qui indique que la performance dans ce domaine peut être sensiblement meilleure ou moins bonne que ne le laisse penser le score moyen. La composition interne du domaine « santé mentale » apparaît également très déséquilibrée : par exemple, la dépression du post-partum représente 26,8 % des conversations de santé mentale, contre 4,5 % pour les crises suicidaires, 0,9 % pour la psychose et 1,5 % pour les troubles du comportement alimentaire.
Les auteurs en concluent que les moyennes globales de performance des IA médicales peuvent masquer des informations essentielles pour la sécurité clinique, en particulier dans des sous-domaines sensibles comme la santé mentale. Ils recommandent, pour une évaluation interprétable de l’IA médicale, de rendre transparente la composition des domaines couverts par les benchmarks, de publier des résultats par sous-groupe et par type d’échec, de calibrer les performances sur des repères cliniquement significatifs (dont la performance d’experts humains) et de documenter des analyses versionnées et reproductibles, afin de suivre l’évolution des modèles, des systèmes d’évaluation et des contextes de déploiement. Ces éléments peuvent être utiles pour les autorités publiques chargées de la régulation ou du suivi de l’usage de l’IA en santé, notamment en santé mentale, sans que le texte ne propose de recommandations spécifiques à un pays en particulier.(contenu résumé en français par l’IA) Lire la Suite