Les chatbots IA ont fait l’objet d’un examen minutieux en raison des risques pour la santé mentale posés aux utilisateurs qui développent des relations avec la technologie ou les utilisent comme thérapie ou soutien lors de crises aiguës de santé mentale. Alors que les entreprises répondent aux critiques des utilisateurs et des experts, l’une des nouvelles dirigeantes d’OpenAI affirme que cette question est au premier plan de son travail.
En mai, Fidji Simo, un ancien de Meta, a été embauché en tant que directeur des applications d’OpenAI. Chargé de gérer tout ce qui ne relève pas de la recherche et de l’infrastructure informatique du PDG Sam Altman pour les modèles d’IA de l’entreprise, il a détaillé le contraste frappant entre le travail dans l’entreprise technologique dirigée par Mark Zuckerberg et celui d’Altman dans une interview avec Wired publiée lundi.
“Je dirais que ce que je ne pense pas que nous ayons bien fait chez Meta, c’est d’anticiper les risques que nos produits créeraient dans la société”, a déclaré Simo à Wired. “Chez OpenAI, ces risques sont bien réels.”
Meta n’a pas immédiatement répondu à la demande de commentaire de Fortune.
Simo a travaillé pendant une décennie chez Meta, alors que l’entreprise était encore connue sous le nom de Facebook, de 2011 à juillet 2021. Au cours de ses deux dernières années et demie, il a dirigé l’application Facebook.
En août 2021, Simo est devenu PDG du service de livraison d’épicerie Instacart. Elle a dirigé l’entreprise pendant quatre ans avant de rejoindre l’une des startups les plus valorisées au monde en tant que PDG secondaire en août.
L’une des premières initiatives de Simo chez OpenAI était la santé mentale, a déclaré l’homme de 40 ans à Wired. L’autre initiative dont il était chargé consistait à lancer le programme de certification en IA de l’entreprise pour aider à renforcer les compétences en IA des travailleurs sur un marché du travail compétitif et tenter d’atténuer les perturbations de l’IA au sein de l’entreprise.
“C’est donc une très grande responsabilité, mais j’ai l’impression que nous avons à la fois la culture et les priorités pour y faire face dès le début”, a déclaré Simo.
Lorsqu’il a rejoint le géant de la technologie, Simo a déclaré que rien qu’en regardant le paysage, il avait immédiatement réalisé qu’il fallait s’attaquer à la santé mentale.
Un nombre croissant de personnes sont victimes de ce que l’on appelle parfois la psychose de l’IA. Les experts craignent que les chatbots comme ChatGPT puissent alimenter les délires et la paranoïa des utilisateurs, ce qui les aurait conduits à être hospitalisés, à divorcer ou à mourir.
Un audit de la société OpenAI par la revue médicale à comité de lecture BMJ et publié en octobre a révélé que des centaines de milliers d’utilisateurs de ChatGPT montrent chaque semaine des signes de psychose, de manie ou d’intentions suicidaires.
Une étude récente de l’Université Brown a également révélé qu’à mesure que de plus en plus de personnes se tournent vers ChatGPT et d’autres grands modèles linguistiques pour obtenir des conseils en matière de santé mentale, elles violent systématiquement les normes éthiques en matière de santé mentale établies par des organisations comme l’American Psychological Association.
Simo a déclaré qu’il fallait emprunter une voie « inexplorée » pour résoudre ces problèmes de santé mentale, ajoutant qu’il existe un risque inhérent à ce qu’OpenAI mette constamment en œuvre différentes fonctionnalités.
“Chaque semaine, de nouveaux comportements émergent avec les fonctionnalités que nous publions et nous pensons : ‘Oh, c’est un autre défi de sécurité à relever'”, a déclaré Simo à Wired.
Néanmoins, Simo a supervisé l’introduction récente par l’entreprise du contrôle parental pour les comptes adolescents ChatGPT, ajoutant qu’OpenAI travaille sur la « prédiction de l’âge pour protéger les adolescents ». Meta a également décidé d’installer un contrôle parental au début de l’année prochaine.
Pourtant, faire ce qu’il faut à chaque fois est exceptionnellement difficile”, a déclaré Simo, en raison du grand nombre d’utilisateurs (800 millions par semaine). “Ce que nous essayons donc de faire, c’est de détecter autant que possible les comportements qui ne sont pas idéaux, puis d’affiner constamment nos modèles.”
