Miles Brundage, un ancien chercheur politique bien connu d’OpenAI, lance un institut dédié à une idée simple : les entreprises d’IA ne devraient pas être autorisées à noter leurs propres devoirs.
Brundage a officiellement annoncé aujourd’hui la création de l’AI Evaluation and Verification Research Institute (AVERI), une nouvelle organisation à but non lucratif visant à faire avancer l’idée selon laquelle les modèles d’IA frontaliers devraient être soumis à un audit externe. AVERI travaille également à établir des normes d’audit en matière d’IA.
Le lancement coïncide avec la publication d’un document de recherche, co-écrit par Brundage et plus de 30 chercheurs en sécurité de l’IA et experts en gouvernance, qui définit un cadre détaillé sur la manière dont pourraient fonctionner les audits indépendants des entreprises construisant les systèmes d’IA les plus puissants au monde.
Brundage a passé sept ans chez OpenAI, en tant que chercheur politique et conseiller sur la manière dont l’entreprise devrait se préparer à l’arrivée d’une intelligence artificielle générale de type humain. Il a quitté l’entreprise en octobre 2024.
“L’une des choses que j’ai apprises en travaillant chez OpenAI, c’est que les entreprises déterminent elles-mêmes les règles de ce genre de choses”, a déclaré Brundage à Fortune. “Personne ne les oblige à travailler avec des experts extérieurs pour garantir la sécurité des choses. Ils écrivent en quelque sorte leurs propres règles.”
Cela crée des risques. Bien que les principaux laboratoires d’IA effectuent des tests de sécurité et publient des rapports techniques sur les résultats d’un grand nombre de ces évaluations, dont certaines sont réalisées avec l’aide d’organisations tierces de type « équipe rouge », à ce stade, les consommateurs, les entreprises et les gouvernements doivent simplement faire confiance à ce que disent les laboratoires d’IA à propos de ces tests. Personne ne les oblige à passer ces évaluations ou à les rapporter selon un ensemble particulier de normes.
Brundage a déclaré que dans d’autres secteurs, l’audit est utilisé pour fournir au public (y compris les consommateurs, les partenaires commerciaux et, dans une certaine mesure, les régulateurs) l’assurance que les produits sont sûrs et ont été rigoureusement testés.
“Si vous achetez un aspirateur, vous savez, il contiendra des composants, comme des batteries, qui ont été testés par des laboratoires indépendants selon des normes de sécurité rigoureuses pour garantir qu’il ne prendra pas feu”, a-t-il déclaré.
Le nouvel institut promouvra les politiques et les normes
Brundage a déclaré qu’AVERI était intéressé par des politiques qui encourageraient les laboratoires d’IA à passer à un système d’audit externe rigoureux, ainsi qu’à étudier quelles devraient être les normes de ces audits, mais n’était pas intéressé par la réalisation elle-même d’audits.
“Nous sommes un groupe d’experts. Nous essayons de comprendre et de façonner cette transition”, a-t-il déclaré. “Nous n’essayons pas d’amener toutes les entreprises du Fortune 500 à devenir clientes.”
Il a déclaré que les sociétés d’expertise comptable, d’audit, d’assurance et de test existantes pourraient se lancer dans l’audit de la sécurité de l’IA, ou que de nouvelles sociétés seraient créées pour assumer ce rôle.
AVERI a déclaré avoir levé 7,5 millions de dollars pour atteindre un objectif de 13 millions de dollars pour couvrir 14 employés et deux ans d’exploitation. Jusqu’à présent, ses bailleurs de fonds comprennent Halcyon Futures, Fathom, Coefficient Giving, l’ancien président de Y Combinator Geoff Ralston, Craig Falls, Good Forever Foundation, Sympatico Ventures et AI Underwriting Company.
L’organisation affirme avoir également reçu des dons d’employés non-cadres actuels et anciens d’entreprises pionnières de l’IA. “Ce sont des gens qui savent où les corps sont enterrés” et “aimeraient voir davantage de responsabilités”, a déclaré Brundage.
Les compagnies d’assurance ou les investisseurs pourraient imposer des audits de sécurité de l’IA
Brundage a déclaré qu’il pourrait y avoir plusieurs mécanismes qui encourageraient les sociétés d’IA à commencer à embaucher des auditeurs indépendants. La première est que les grandes entreprises qui achètent des modèles d’IA peuvent exiger des audits pour leur donner une certaine assurance que les modèles d’IA qu’elles achètent fonctionneront comme promis et ne présenteront pas de risques cachés.
Les compagnies d’assurance peuvent également faire pression pour qu’un audit IA soit mis en place. Par exemple, les assureurs proposant une assurance de continuité d’activité aux grandes entreprises qui utilisent des modèles d’intelligence artificielle pour leurs processus commerciaux clés pourraient exiger des audits comme condition de souscription. Le secteur de l’assurance peut également exiger des audits pour rédiger des politiques pour les principales sociétés d’IA, telles qu’OpenAI, Anthropic et Google.
“Le secteur des assurances progresse certainement rapidement”, a déclaré Brundage. “Nous avons beaucoup de conversations avec les assureurs.” Il a souligné qu’une compagnie d’assurance spécialisée dans l’IA, AI Underwriting Company, a fait un don à AVERI parce qu'”elle voit la valeur de l’audit comme moyen de vérifier le respect des normes qu’elle rédige”.
Les investisseurs peuvent également exiger des audits de sécurité de l’IA pour s’assurer qu’ils ne prennent pas de risques inconnus, a déclaré Brundage. Compte tenu des chèques de plusieurs millions de dollars que les sociétés d’investissement écrivent désormais pour financer les sociétés d’IA, il serait logique que ces investisseurs exigent des audits indépendants sur la sécurité des produits que ces startups à croissance rapide construisent. Si l’un des principaux laboratoires devenait public (comme OpenAI et Anthropic se préparent à le faire d’ici un an ou deux), le fait de ne pas employer d’auditeurs pour évaluer les risques des modèles d’IA pourrait exposer ces entreprises à des poursuites judiciaires entre actionnaires ou à des poursuites auprès de la SEC si quelque chose devait mal tourner plus tard et contribuer à une baisse significative du cours de leurs actions.
Brundage a également déclaré que la réglementation ou les accords internationaux pourraient obliger les laboratoires d’IA à employer des auditeurs indépendants. Les États-Unis ne disposent actuellement d’aucune réglementation fédérale sur l’IA et il n’est pas clair si une telle réglementation sera créée. Le président Donald Trump a signé un décret visant à sévir contre les États américains qui adoptent leurs propres réglementations sur l’intelligence artificielle. L’administration a déclaré que c’était parce qu’elle pensait qu’une norme fédérale unique serait plus facile à comprendre pour les entreprises que plusieurs lois étatiques. Mais alors qu’elle tente de punir les États qui adoptent des réglementations sur l’IA, l’administration n’a pas encore proposé de norme nationale qui lui soit propre.
Dans d’autres zones géographiques, cependant, les bases de l’audit peuvent déjà prendre forme. La loi européenne sur l’IA, récemment entrée en vigueur, n’exige pas explicitement des audits des procédures d’évaluation des entreprises d’IA. Mais son « Code de bonnes pratiques pour l’IA à usage général », qui est en quelque sorte un modèle sur la manière dont les laboratoires d’IA de pointe peuvent se conformer à la loi, indique que les laboratoires qui construisent des modèles susceptibles de présenter des « risques systémiques » doivent donner aux évaluateurs tiers un accès gratuit pour tester les modèles. Le texte de la loi lui-même indique également que lorsque les organisations déploient l’IA dans des cas d’utilisation « à haut risque », tels que la souscription de prêts, la détermination de l’éligibilité aux prestations sociales ou la détermination des soins de santé, le système d’IA doit subir une « évaluation de conformité » externe avant d’être commercialisé. Ces articles de la Loi et du Code ont été interprétés par certains comme impliquant la nécessité d’avoir des auditeurs essentiellement indépendants.
Établir des « niveaux d’assurance » et trouver suffisamment d’auditeurs qualifiés
Le document de recherche publié parallèlement au lancement d’AVERI présente une vision globale de ce à quoi devrait ressembler l’audit de l’IA à la frontière. Il propose un cadre de « niveaux d’assurance de l’IA » allant du niveau 1, qui implique des tests tiers mais à accès limité et est similaire aux types d’évaluations externes pour lesquelles les laboratoires d’IA emploient actuellement des entreprises, au niveau 4, qui fournirait une assurance « de niveau traité » suffisante pour les accords internationaux sur la sécurité de l’IA.
Construire une équipe d’auditeurs IA qualifiés présente ses propres difficultés. L’audit de l’IA nécessite une combinaison d’expertise technique et de connaissances en matière de gouvernance que peu de gens possèdent, et ceux qui le possèdent sont souvent attirés par des offres lucratives émanant des mêmes entreprises qui seraient auditées.
Brundage a reconnu le défi mais a déclaré qu’il était surmontable. Il a parlé de mélanger des personnes d’horizons différents pour former des « équipes de rêve » qui, ensemble, possèdent les bonnes compétences. “Vous pourriez avoir des personnes d’une société d’audit existante, plus des personnes d’une société de tests d’intrusion en cybersécurité, plus des personnes d’une des organisations à but non lucratif de sécurité de l’IA, et peut-être un universitaire”, a-t-il déclaré.
Dans d’autres secteurs, de l’énergie nucléaire à la sécurité alimentaire, ce sont souvent des catastrophes, ou du moins des quasi-accidents, qui ont motivé l’adoption de normes et d’évaluations indépendantes. Brundage a déclaré qu’il espère qu’avec l’IA, des normes et une infrastructure d’audit pourront être établies avant qu’une crise ne survienne.
“L’objectif, de mon point de vue, est d’atteindre un niveau de contrôle proportionné aux impacts et risques réels de la technologie, le plus facilement et le plus rapidement possible, sans aller trop loin”, a-t-il déclaré.
