Si vous pensez que l’intelligence artificielle présente de sérieux risques pour l’humanité, alors un professeur de l’Université Carnegie Mellon joue actuellement l’un des rôles les plus importants dans l’industrie technologique.
Zico Kolter dirige un panel de quatre personnes chez OpenAI qui a le pouvoir d’empêcher le fabricant de ChatGPT de lancer de nouveaux systèmes d’IA s’il les juge dangereux. Il pourrait s’agir d’une technologie si puissante qu’un criminel pourrait l’utiliser pour fabriquer des armes de destruction massive. Il pourrait également s’agir d’un nouveau chatbot si mal conçu qu’il nuirait à la santé mentale des gens.
“Dans une large mesure, nous ne parlons pas seulement de préoccupations existentielles”, a déclaré Kolter dans une interview à l’Associated Press. “Nous parlons de toute une gamme de problèmes de sûreté et de sécurité et de problèmes critiques qui surviennent lorsque nous commençons à parler de ces systèmes d’IA largement utilisés.”
OpenAI a fait appel à l’informaticien pour présider son comité de sûreté et de sécurité il y a plus d’un an, mais ce poste a pris une importance accrue la semaine dernière lorsque les régulateurs de Californie et du Delaware ont fait de la surveillance de Kolter un élément clé de leurs accords pour permettre à OpenAI de former une nouvelle structure commerciale pour lever plus facilement des capitaux et réaliser des bénéfices.
La sécurité est au cœur de la mission d’OpenAI depuis sa création en tant que laboratoire de recherche à but non lucratif il y a dix ans, dans le but de créer une IA meilleure que l’humain qui profite à l’humanité. Mais après que le lancement de ChatGPT ait déclenché un boom commercial mondial de l’IA, la société a été accusée de commercialiser des produits avant qu’ils ne soient totalement sûrs de garder une longueur d’avance. Les divisions internes qui ont conduit à l’éviction temporaire du PDG Sam Altman en 2023 ont suscité l’inquiétude d’un public plus large quant au fait qu’il s’était éloigné de sa mission.
L’organisation basée à San Francisco a été confrontée à des difficultés, notamment à un procès intenté par son co-fondateur Elon Musk, lorsqu’elle a commencé à prendre des mesures pour devenir une entreprise à but lucratif plus traditionnelle afin de continuer à faire progresser sa technologie.
Les règlements annoncés la semaine dernière par OpenAI avec le procureur général de Californie, Rob Bonta, et la procureure générale du Delaware, Kathy Jennings, visaient à atténuer certaines de ces préoccupations.
Au centre des engagements formels se trouve la promesse que les décisions en matière de sécurité doivent passer avant les considérations financières, alors qu’OpenAI forme une nouvelle société d’utilité publique qui est techniquement sous le contrôle de sa fondation à but non lucratif OpenAI.
Kolter sera membre du conseil d’administration de l’organisation à but non lucratif, mais pas du conseil d’administration de l’organisation à but lucratif. Mais il aura « des droits d’observation complets » pour assister à toutes les réunions du conseil d’administration à but lucratif et aura accès aux informations qu’il obtient sur les décisions en matière de sécurité de l’IA, selon le protocole d’accord de Bonta avec OpenAI. Kolter est la seule personne autre que Bonta nommée dans le long document.
Kolter a déclaré que les accords confirment largement que son comité de sécurité, formé l’année dernière, conservera les autorités dont il disposait déjà. Les trois autres membres siègent également au conseil d’administration d’OpenAI ; l’un d’eux est l’ancien général de l’armée américaine Paul Nakasone, qui était commandant du Cyber Command américain. Altman a démissionné du comité de sécurité l’année dernière, une décision considérée comme lui donnant plus d’indépendance.
“Nous avons la possibilité de faire des choses comme demander des retards dans les versions de modèles jusqu’à ce que certaines mesures d’atténuation soient respectées”, a déclaré Kolter. Il a refusé de dire si le comité de sécurité avait déjà dû arrêter ou atténuer une libération, invoquant la confidentialité de ses procédures.
Kolter a déclaré qu’il y aura diverses préoccupations concernant les agents d’IA à prendre en compte dans les mois et années à venir, notamment en matière de cybersécurité : « Un agent qui trouve un texte malveillant sur Internet pourrait-il exfiltrer accidentellement des données ? – aux problèmes de sécurité liés aux pondérations des modèles d’IA, qui sont des valeurs numériques qui influencent les performances d’un système d’IA.
“Mais il y a aussi des thèmes qui émergent ou qui sont vraiment spécifiques à cette nouvelle classe de modèle d’IA qui n’ont pas de véritable analogue dans la sécurité traditionnelle”, a-t-il déclaré. « Les modèles permettent-ils aux utilisateurs malveillants de disposer de capacités bien plus importantes lorsqu’il s’agit de concevoir des armes biologiques ou de mener des cyberattaques malveillantes ?
“Et enfin, il y a l’impact des modèles d’IA sur les gens”, a-t-il déclaré. “L’impact sur la santé mentale des gens, les effets de l’interaction des personnes avec ces modèles et ce que cela peut causer. Je pense que toutes ces choses doivent être abordées du point de vue de la sécurité.”
OpenAI a déjà fait l’objet de critiques cette année concernant le comportement de son chatbot phare, notamment un procès pour mort injustifiée de la part de parents californiens dont le fils adolescent s’est suicidé en avril après de longues interactions avec ChatGPT.
Kolter, directeur du département d’apprentissage automatique de Carnegie Mellon, a commencé à étudier l’IA alors qu’il était étudiant en première année à l’Université de Georgetown au début des années 2000, bien avant que cette pratique ne soit à la mode.
“Quand j’ai commencé à travailler dans le domaine de l’apprentissage automatique, il s’agissait d’un domaine de niche ésotérique”, a-t-il déclaré. « Nous l’avons appelé apprentissage automatique parce que personne ne voulait utiliser le terme IA, car l’IA était un domaine ancien qui avait trop promis et qui n’avait pas été livré. »
Kolter, 42 ans, suit OpenAI depuis des années et était suffisamment proche de ses fondateurs pour assister à sa soirée de lancement lors d’une conférence sur l’IA en 2015. Pourtant, il ne s’attendait pas à la rapidité avec laquelle l’IA progresserait.
“Je pense que très peu de gens, même ceux qui travaillent en profondeur dans le domaine de l’apprentissage automatique, ont vraiment anticipé l’état actuel dans lequel nous nous trouvons, l’explosion des capacités, l’explosion des risques qui émergent en ce moment”, a-t-il déclaré.
Les défenseurs de la sécurité de l’IA suivront de près la restructuration d’OpenAI et le travail de Kolter. L’un des critiques les plus virulents de l’entreprise se dit “prudemment optimiste”, surtout si le groupe de Kolter “est réellement capable d’embaucher du personnel et de jouer un rôle important”.
“Je pense qu’il a le genre d’expérience qui a du sens pour ce poste. Il semble être un bon choix pour diriger ce projet”, a déclaré Nathan Calvin, avocat général chez Encode, une petite organisation à but non lucratif spécialisée dans la politique en matière d’intelligence artificielle. Calvin, qu’OpenAI a visé par une assignation à comparaître à son domicile dans le cadre de son enquête pour se défendre contre le procès de Musk, a déclaré qu’il souhaitait qu’OpenAI reste fidèle à sa mission initiale.
“Certains de ces engagements pourraient être très importants si les membres du conseil d’administration les prennent au sérieux”, a déclaré Calvin. “Il pourrait aussi s’agir simplement de mots écrits sur du papier et totalement déconnectés de tout ce qui se passe réellement. Je pense que nous ne savons toujours pas dans lequel nous nous trouvons.”
