New-York, le samedi 16 décembre 2023 - Dans de précédentes études, ChatGPT avait réussi ses examens de médecine et montrait des aptitudes certaines en diagnostic médical, mais il semble moins doué pour la pharmacie, si l'on en croit des travaux présentés au congrès de l'American Society of Health-System Pharmacists.
Pour cette recherche, une équipe américaine du College of Pharmacy de l'Université de Long Island a recueilli les questions posées sur les médicaments sur son site et en a sélectionné 39 à soumettre à l’outil d’intelligence artificielle. Les investigateurs ont d'abord planché sur cette série de questions et chaque réponse a été examinée par un deuxième potard pour évaluer son exactitude. Elles ont ensuite servi de référence pour évaluer celles générées par ChatGPT.
Sur les 39 réponses de ChatGPT, seulement 10 ont été jugées satisfaisantes selon les critères établis par les scientifiques de l'État de New York. Les 29 autres ne correspondaient pas directement à la question (pour 11 d'entre elles), étaient inexactes (10), et/ou incomplètes (12).
« Gardiens vigilants de la sécurité des patients »
Par exemple, les chercheurs ont demandé à ChatGPT s'il existait une interaction médicamenteuse entre le Paxlovid, utilisé contre la Covid-19, et l'hypotenseur vérapamil. L'IA a indiqué qu'aucune interaction n'avait été signalée pour cette combinaison de traitements (comme l’a confirmé le JIM en posant à nouveau la question à l’outil d’IA !). « En réalité, ces médicaments ont le potentiel d'interagir les uns avec les autres, et leur utilisation combinée peut entraîner une baisse excessive de la tension artérielle », explique Sara Grossman, auteure principale de l'étude, dans un communiqué.
Son équipe a également demandé à ChatGPT de fournir des références pour justifier les informations fournies. Mais il lui arrivait fréquemment de donner de fausses citations pour les étayer.
Les auteurs de l'étude estiment ainsi qu'une extrême prudence est donc de mise vis-à-vis des réponses de ChatGPT, et que les pharmaciens doivent demeurer des « gardiens vigilants de la sécurité des patients », en poursuivant leur mission d'information sur les médicaments.
Soulignons pour finir qu'une autre étude publiée dans le British Journal of Clinical Pharmacology en août dernier avait déjà estimé que si ChatGPT se révélait bon pour le conseil pharmaceutique simple, il faisait preuve d'une certaine faiblesse dans l'examen des ordonnances, l'éducation thérapeutique, et la reconnaissance des effets indésirables.
F.H.
