Soyez prudent lorsque vous interagissez avec des chatbots, car vous pourriez leur donner des raisons de participer à un meurtre prémédité.
Une femme de 21 ans en Corée du Sud aurait utilisé ChatGPT pour répondre à des questions alors qu’elle planifiait une série de meurtres qui ont laissé deux hommes morts et un autre brièvement inconscient.
La femme, identifiée uniquement par son nom de famille, Kim, aurait donné à deux hommes des boissons contenant des benzodiazépines qui lui avaient été prescrites pour une maladie mentale, a rapporté le Korea Herald.
Bien que Kim ait été initialement arrêtée sous l’accusation moindre de blessures corporelles ayant entraîné la mort le 11 février, ce n’est que lorsque la police de Gangbuk de Séoul a trouvé son historique de recherche en ligne et ses conversations avec ChatGPT et a mis à jour les accusations, et que leurs questions ont établi sa prétendue intention de tuer.
« Que se passe-t-il si vous prenez des somnifères avec de l’alcool ? » Kim aurait demandé au chatbot OpenAI. « Dans quelle mesure serait considéré comme dangereux ?
“Est-ce que ça pourrait être mortel ?” Kim aurait demandé. “Pourrais-je tuer quelqu’un ?”
Dans une affaire largement médiatisée intitulée « Morts en série dans le motel de Gangbuk », les procureurs allèguent que les recherches de Kim et l’historique du chatbot montrent que le suspect demande des éclaircissements sur la question de savoir si son cocktail s’avérerait mortel.
“Kim a posé à plusieurs reprises des questions liées à la drogue sur ChatGPT. Elle était parfaitement consciente que la consommation d’alcool et de drogues pouvait entraîner la mort”, a déclaré un enquêteur de la police, selon le Herald.
La police a déclaré que la femme avait admis avoir mélangé des sédatifs sur ordonnance contenant des benzodiazépines aux boissons des hommes, mais avait précédemment déclaré qu’elle ne savait pas que cela entraînerait sa mort.
Le 28 janvier, peu avant 21h30, Kim aurait accompagné un homme d’une vingtaine d’années dans un motel Gangbuk à Séoul, et deux heures plus tard, il aurait été vu en train de quitter le motel seul. Le lendemain, l’homme a été retrouvé mort dans son lit.
Kim aurait ensuite effectué les mêmes démarches le 9 février, en s’enregistrant dans un autre motel avec un autre homme d’une vingtaine d’années, qui a également été retrouvé mort à cause du même cocktail mortel de sédatifs et d’alcool.
La police affirme que Kim a également tenté de tuer un homme avec qui elle sortait en décembre après lui avoir donné une boisson sédative dans un parking. Bien que l’homme ait perdu connaissance, il a survécu et ses jours ne sont pas en danger.
Les questions que Kim a posées au chatbot suivent une série de questions factuelles, a déclaré un porte-parole d’OpenAI à Fortune, ce qui signifie que les questions ne déclencheraient pas d’alarme, c’est-à-dire qu’elles se poseraient si un utilisateur exprimait des déclarations d’automutilation (ChatGPT est programmé pour répondre avec la hotline de crise suicidaire dans ce cas). La police sud-coréenne n’affirme pas que le chatbot ait fourni des réponses autres que factuelles aux prétendues questions précédentes de Kim.
Les chatbots et leur coût sur la santé mentale
Les chatbots comme ChatGPT ont récemment fait l’objet d’un examen minutieux en raison du manque de barrières de sécurité mises en place par leurs entreprises pour prévenir les actes de violence ou d’automutilation. Récemment, des chatbots ont donné des conseils sur la façon de fabriquer des bombes ou même de participer à des scénarios de retombées nucléaires complètes.
Des inquiétudes ont été soulevées en particulier par des histoires de personnes tombant amoureuses de leurs compagnons chatbots, et il a été démontré que ces compagnons chatbots exploitent les vulnérabilités pour que les gens les utilisent plus longtemps. Le créateur de Yara AI a même fermé l’application de thérapie en raison de problèmes de santé mentale.
Des études récentes ont également montré que les chatbots provoquent une augmentation des crises de santé mentale délirantes chez les personnes atteintes de maladie mentale. Une équipe de psychiatres de l’Université d’Aarhus au Danemark a découvert que l’utilisation de chatbots chez les personnes souffrant de maladie mentale entraînait une aggravation des symptômes. Le phénomène relativement nouveau des problèmes de santé mentale induits par l’IA a été appelé « psychose de l’IA ».
Certains cas se terminent par la mort. Google et Character.AI ont réglé plusieurs poursuites intentées par des familles d’enfants décédés par suicide ou ayant subi des dommages psychologiques qui, selon eux, étaient liés aux chatbots IA.
Le Dr Jodi Halpern, présidente de la School of Public Health de l’UC Berkeley et professeur de bioéthique, ainsi que codirectrice du Kavli Center for Ethics, Science and the Public, possède une vaste expérience dans ce domaine. Au cours d’une carrière aussi longue que l’obtention de son diplôme, Halpern a passé 30 ans à étudier les effets de l’empathie sur les bénéficiaires, citant des exemples tels que les médecins et les infirmières avec des patients ou la façon dont les soldats revenant de la guerre sont perçus dans les contextes sociaux. Au cours des sept dernières années, Halpern a étudié l’éthique de la technologie et, par conséquent, la manière dont l’IA et les chatbots interagissent avec les humains.
Il a également conseillé le Sénat de Californie sur la SB 243, qui est la première loi du pays à exiger que les sociétés de chatbots collectent et déclarent toute donnée sur l’automutilation ou les tendances suicidaires associées. Faisant référence aux propres conclusions d’OpenAI montrant que 1,2 million d’utilisateurs discutent ouvertement du suicide des chatbots, Halpern a comparé l’utilisation des chatbots aux progrès extrêmement lents réalisés pour empêcher l’industrie du tabac d’inclure des cancérogènes nocifs dans les cigarettes, alors qu’en fait le problème était le tabagisme dans son ensemble.
“Nous avons besoin d’entreprises sûres. C’est comme les cigarettes. Il se peut que certaines choses rendent les gens plus vulnérables au cancer du poumon, mais les cigarettes étaient le problème”, a déclaré Halpern à Fortune.
“Le fait que quelqu’un puisse avoir des pensées homicides ou commettre des actions dangereuses pourrait être exacerbé par l’utilisation de ChatGPT, ce qui m’inquiète évidemment”, a-t-il déclaré, ajoutant que “nous courons d’énormes risques que des personnes l’utilisent comme aide au suicide”, et les chatbots en général.
Halpern a averti que dans l’affaire Kim à Séoul, aucune barrière de sécurité n’empêche une personne de poursuivre son interrogatoire.
“Nous savons que plus la relation avec le chatbot dure, plus elle se détériore et plus le risque que quelque chose de dangereux se produise est grand, nous n’avons donc pas encore de garde-fous pour protéger les gens de cela.”
Si vous avez des pensées suicidaires, contactez le 988 Suicide & Crisis Lifeline en appelant le 988 ou le 1-800-273-8255.
Cet article a été mis à jour avec les commentaires d’OpenAI sur le contenu des prétendues questions de Kim avec le chatbot.
