OpenAI a publié des données qui ont suscité un vif débat dans le monde de la technologie et de la psychiatrie. Selon les estimations de l'entreprise, une partie des utilisateurs de ChatGPT présenteraient des signes potentiels de troubles mentaux : manie, psychose ou idées suicidaires.
Selon OpenAI, environ 0,07 % des utilisateurs actifs présentent des symptômes de ce trouble au cours de la semaine, tandis que 0,15 % des conversations révèlent des signes manifestes d'intentions suicidaires. Bien que l'entreprise qualifie ces cas d'« extrêmement rares », les experts soulignent que même un faible pourcentage de 800 millions d'utilisateurs représente des centaines de milliers de personnes à travers le monde.
Suite à ces inquiétudes, l'entreprise a mis en place un réseau international de soutien composé de plus de 170 professionnels de la santé mentale issus de 60 pays. Ces derniers conseillent les développeurs et contribuent à la création d'algorithmes capables de détecter les signaux d'alerte dans les interactions des utilisateurs de ChatGPT et de les inciter à solliciter une aide adaptée.
De nouvelles versions de ChatGPT ont également été mises à jour : le système est capable de répondre avec empathie aux signalements d’automutilation, de délires ou d’états maniaques et, dans certains cas, de rediriger les utilisateurs vers des versions « plus sûres » du modèle.
Le Dr Jason Nagata, de l'Université de Californie à San Francisco, souligne que même 0,07 % des utilisateurs représentent un nombre considérable de personnes : « L'IA peut être utile dans le domaine de la santé mentale, mais elle ne remplace pas un véritable professionnel. ».
Le professeur Robin Feldman de l'Université de Californie ajoute que ChatGPT crée « une illusion de communication trop réaliste », ce qui pourrait être dangereux pour les utilisateurs vulnérables.
Ces nouvelles données surviennent dans un contexte marqué par plusieurs affaires très médiatisées. Aux États-Unis, les parents d'Adam Raine, un adolescent de 16 ans, ont porté plainte contre OpenAI, affirmant que ChatGPT aurait pu le pousser au suicide. Il s'agit de la première action en justice de ce type. Un autre incident s'est produit dans le Connecticut, où un suspect de meurtre-suicide a publié ses conversations ChatGPT, lesquelles, selon les enquêteurs, ont alimenté ses délires.
L'entreprise reconnaît que même un petit nombre d'utilisateurs présentant des problèmes de santé mentale potentiels constitue un défi de taille. OpenAI s'efforce de trouver un équilibre entre les avantages de l'IA comme outil d'assistance et les risques liés à une technologie qui commence à paraître trop « humaine ».
