Un travail de recherche publi\u00e9 dans le cadre de la s\u00e9rie externe de publications du RAND Health s\u2019int\u00e9resse \u00e0 l\u2019\u00e9valuation des mod\u00e8les d\u2019intelligence artificielle (IA) appliqu\u00e9s \u00e0 la sant\u00e9, en particulier les grands mod\u00e8les de langage utilis\u00e9s pour des t\u00e2ches de conseil ou d\u2019\u00e9change en sant\u00e9. Les auteurs analysent le benchmark \u00ab HealthBench \u00bb, qui regroupe 5 000 conversations de sant\u00e9 en plusieurs tours, et montrent que les scores globaux fournis par ce type d\u2019outil peuvent masquer des variations importantes de performance selon les domaines cliniques, notamment en sant\u00e9 mentale.<\/p>\n
Les conversations \u00e9tudi\u00e9es incluent des situations complexes comportant des enjeux de s\u00e9curit\u00e9 : id\u00e9es suicidaires, psychose, troubles du comportement alimentaire, traumatismes, d\u00e9pendance relationnelle. Ces situations exigent de l\u2019IA la capacit\u00e9 \u00e0 reconna\u00eetre des signaux parfois ambigus, \u00e0 r\u00e9pondre de mani\u00e8re prudente en contexte d\u2019incertitude, \u00e0 ne pas renforcer des croyances ou comportements nocifs, \u00e0 \u00e9viter une relation de d\u00e9pendance excessive et \u00e0 savoir orienter vers un soutien humain sp\u00e9cialis\u00e9, en particulier en cas de crise.<\/p>\n
Les auteurs proposent que HealthBench et des benchmarks similaires publient des r\u00e9sultats par domaine clinique. Pour en d\u00e9montrer la faisabilit\u00e9, ils ont utilis\u00e9 un jeu de donn\u00e9es classifi\u00e9 par OpenAI afin d\u2019identifier 332 conversations relevant de la sant\u00e9 mentale, puis ont valid\u00e9 cette s\u00e9lection par une relecture humaine. Ils rapportent une sensibilit\u00e9 de 0,980, une sp\u00e9cificit\u00e9 de 1,000, une valeur pr\u00e9dictive positive de 1,000, une valeur pr\u00e9dictive n\u00e9gative de 0,980, un score F1 de 0,990 et un accord inter-juges de 99,0 %, ce qui sugg\u00e8re une bonne fiabilit\u00e9 de l\u2019identification des conversations de sant\u00e9 mentale.<\/p>\n
\u00c0 partir d\u2019un \u00e9chantillon al\u00e9atoire stratifi\u00e9 de 500 conversations, la performance des mod\u00e8les a \u00e9t\u00e9 analys\u00e9e s\u00e9par\u00e9ment pour le domaine de la sant\u00e9 mentale et pour l\u2019ensemble de HealthBench. Les estimations ponctuelles de performance pour la sant\u00e9 mentale diff\u00e9raient des estimations globales de \u22120,034 \u00e0 +0,047 selon les d\u00e9ploiements, ce qui indique que la performance dans ce domaine peut \u00eatre sensiblement meilleure ou moins bonne que ne le laisse penser le score moyen. La composition interne du domaine \u00ab sant\u00e9 mentale \u00bb appara\u00eet \u00e9galement tr\u00e8s d\u00e9s\u00e9quilibr\u00e9e : par exemple, la d\u00e9pression du post-partum repr\u00e9sente 26,8 % des conversations de sant\u00e9 mentale, contre 4,5 % pour les crises suicidaires, 0,9 % pour la psychose et 1,5 % pour les troubles du comportement alimentaire.<\/p>\n
Les auteurs en concluent que les moyennes globales de performance des IA m\u00e9dicales peuvent masquer des informations essentielles pour la s\u00e9curit\u00e9 clinique, en particulier dans des sous-domaines sensibles comme la sant\u00e9 mentale. Ils recommandent, pour une \u00e9valuation interpr\u00e9table de l\u2019IA m\u00e9dicale, de rendre transparente la composition des domaines couverts par les benchmarks, de publier des r\u00e9sultats par sous-groupe et par type d\u2019\u00e9chec, de calibrer les performances sur des rep\u00e8res cliniquement significatifs (dont la performance d\u2019experts humains) et de documenter des analyses versionn\u00e9es et reproductibles, afin de suivre l\u2019\u00e9volution des mod\u00e8les, des syst\u00e8mes d\u2019\u00e9valuation et des contextes de d\u00e9ploiement. Ces \u00e9l\u00e9ments peuvent \u00eatre utiles pour les autorit\u00e9s publiques charg\u00e9es de la r\u00e9gulation ou du suivi de l\u2019usage de l\u2019IA en sant\u00e9, notamment en sant\u00e9 mentale, sans que le texte ne propose de recommandations sp\u00e9cifiques \u00e0 un pays en particulier.(contenu r\u00e9sum\u00e9 en fran\u00e7ais par l’IA)\u00a0Lire la Suite<\/a><\/p>","protected":false},"excerpt":{"rendered":" Un travail de recherche publi\u00e9 dans le cadre de la s\u00e9rie externe de publications du RAND Health s\u2019int\u00e9resse \u00e0 l\u2019\u00e9valuation des mod\u00e8les d\u2019intelligence artificielle (IA) appliqu\u00e9s \u00e0 la sant\u00e9, en […]<\/p>\n","protected":false},"author":1,"featured_media":10675,"comment_status":"","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[26],"tags":[234,227,226],"class_list":["post-21755","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-donnees-etudes-evaluation-et-prospective","tag-rand","tag-ia","tag-sources-etrangeres"],"_links":{"self":[{"href":"https:\/\/veilles-affaires-sociales.fr\/index.php?rest_route=\/wp\/v2\/posts\/21755","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/veilles-affaires-sociales.fr\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/veilles-affaires-sociales.fr\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/veilles-affaires-sociales.fr\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/veilles-affaires-sociales.fr\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=21755"}],"version-history":[{"count":0,"href":"https:\/\/veilles-affaires-sociales.fr\/index.php?rest_route=\/wp\/v2\/posts\/21755\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/veilles-affaires-sociales.fr\/index.php?rest_route=\/wp\/v2\/media\/10675"}],"wp:attachment":[{"href":"https:\/\/veilles-affaires-sociales.fr\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=21755"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/veilles-affaires-sociales.fr\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=21755"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/veilles-affaires-sociales.fr\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=21755"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}