OpenAI recherche un nouvel employé pour l’aider à faire face aux dangers croissants de l’IA, et l’entreprise technologique est prête à dépenser plus d’un demi-million de dollars pour pourvoir ce poste.
OpenAI embauche un « responsable de la préparation » pour réduire les dommages associés à la technologie, tels que la santé mentale des utilisateurs et la cybersécurité, a écrit samedi le PDG Sam Altman dans un article X. Le poste sera rémunéré 555 000 $ par an, plus l’équité, selon l’offre d’emploi.
“Ce sera un travail stressant et vous serez plongé dans le grand bain presque immédiatement”, a déclaré Altman.
La volonté d’OpenAI d’embaucher un responsable de la sécurité intervient dans un contexte d’inquiétudes croissantes des entreprises concernant les risques de l’IA sur leurs opérations et leur réputation. Une analyse en novembre des documents déposés chaque année auprès de la Securities and Exchange Commission par la société de données et d’analyses financières AlphaSense a révélé qu’au cours des 11 premiers mois de l’année, 418 entreprises valant au moins 1 milliard de dollars ont évoqué une atteinte à leur réputation associée aux facteurs de risque de l’IA. Ces risques qui menacent la réputation incluent des ensembles de données d’IA qui affichent des informations biaisées ou compromettent la sécurité. Les rapports faisant état d’atteintes à la réputation liées à l’IA ont augmenté de 46 % depuis 2024, selon l’analyse.
“Les modèles s’améliorent rapidement et sont désormais capables de faire beaucoup de choses merveilleuses, mais ils commencent également à présenter de réels défis”, a déclaré Altman dans la publication sur les réseaux sociaux.
“Si vous souhaitez aider le monde à comprendre comment doter les défenseurs de la cybersécurité de capacités de pointe tout en garantissant que les attaquants ne peuvent pas les utiliser pour causer des dommages, idéalement en rendant tous les systèmes plus sécurisés, et de la même manière, comment débloquer les capacités biologiques et même gagner confiance dans la sécurité des systèmes en cours d’exécution qui peuvent s’améliorer, veuillez envisager de postuler”, a-t-il ajouté.
L’ancien responsable de la préparation d’OpenAI, Aleksander Madry, a été réaffecté l’année dernière à un rôle lié au raisonnement de l’IA, la sécurité de l’IA étant une partie connexe du travail.
Les efforts d’OpenAI pour faire face aux dangers de l’IA
Fondée en 2015 en tant qu’organisation à but non lucratif avec l’intention d’utiliser l’IA pour améliorer et bénéficier à l’humanité, OpenAI, aux yeux de certains de ses anciens dirigeants, a eu du mal à donner la priorité à son engagement en faveur du développement de technologies sûres. L’ancien vice-président de la recherche de l’entreprise, Dario Amodei, ainsi que sa sœur Daniela Amodei et plusieurs autres chercheurs, ont quitté OpenAI en 2020, en partie parce qu’ils craignaient que l’entreprise donne la priorité au succès commercial plutôt qu’à la sécurité. Amodei fonde Anthropic l’année suivante.
OpenAI a fait face à plusieurs poursuites pour mort injustifiée cette année, alléguant que ChatGPT encourageait les illusions des utilisateurs et affirmant que les conversations avec le bot étaient liées au suicide de certains utilisateurs. Une enquête du New York Times publiée en novembre a révélé près de 50 cas d’utilisateurs de ChatGPT souffrant de crises de santé mentale alors qu’ils discutaient avec le robot.
OpenAI a déclaré en août que ses fonctionnalités de sécurité pourraient « se dégrader » suite à de longues conversations entre les utilisateurs et ChatGPT, mais la société a apporté des modifications pour améliorer la façon dont ses modèles interagissent avec les utilisateurs. Il a créé un conseil de huit personnes plus tôt cette année pour conseiller l’entreprise sur les mesures de sécurité visant à favoriser le bien-être des utilisateurs et a mis à jour ChatGPT pour être plus réactif dans les conversations sensibles et accroître l’accès aux lignes d’assistance téléphonique en cas de crise. Plus tôt ce mois-ci, la société a annoncé des subventions pour financer la recherche sur l’intersection de l’IA et de la santé mentale.
L’entreprise technologique a également admis qu’elle avait besoin de meilleures mesures de sécurité, affirmant dans un article de blog ce mois-ci que certains de ses prochains modèles pourraient présenter un risque « élevé » de cybersécurité à mesure que l’IA progresse rapidement. L’entreprise prend des mesures, telles que des modèles de formation pour ne pas répondre aux demandes compromettant la cybersécurité et le perfectionnement des systèmes de surveillance, pour atténuer ces risques.
“Nous disposons d’une base solide pour mesurer les capacités croissantes”, a écrit Altman samedi. “Mais nous entrons dans un monde où nous avons besoin d’une compréhension et d’une mesure plus nuancées de la manière dont ces capacités peuvent être utilisées à mauvais escient et de la manière dont nous pouvons limiter ces inconvénients à la fois dans nos produits et dans le monde, de manière à ce que nous puissions tous profiter des énormes avantages.”
