L’erreur est humaine ; pardonner, divin. Mais lorsqu’il s’agit d’« agents » d’IA autonomes qui assument des tâches qui étaient auparavant effectuées par des humains, quelle est la marge d’erreur ?
Lors du récent événement Brainstorm AI de Fortune à San Francisco, une table ronde d’experts a abordé cette question alors que des experts ont expliqué comment leurs entreprises abordent la sécurité et la gouvernance, un problème qui surmonte des défis encore plus pratiques tels que les données et la puissance de calcul. Les entreprises sont engagées dans une course aux armements pour parachuter dans leurs flux de travail des agents d’IA capables d’accomplir des tâches de manière autonome et avec peu de supervision humaine. Mais beaucoup sont confrontés à un paradoxe fondamental qui ralentit l’adoption : pour avancer rapidement, il faut de la confiance, et pourtant, instaurer la confiance prend beaucoup de temps.
Dev Rishi, PDG de Rubrik en matière d’IA, a rejoint la société de sécurité l’été dernier suite à l’acquisition de sa startup d’IA d’apprentissage profond, Predibase. Il a ensuite passé les quatre mois suivants à rencontrer des dirigeants de 180 entreprises. Il a utilisé ces informations pour diviser l’adoption de l’IA des agents en quatre phases, a-t-il déclaré au public de Brainstorm AI. (Au niveau établi, l’adoption par les agents fait référence aux entreprises qui mettent en œuvre des systèmes d’IA qui fonctionnent de manière autonome plutôt que de répondre aux invites.)
Comme Rishi l’a appris, les quatre phases qu’il a découvertes incluent la première phase d’expérimentation, au cours de laquelle les entreprises travaillent dur pour prototyper leurs agents et définir les objectifs qu’elles pensent pouvoir intégrer dans leurs flux de travail. La deuxième phase, a déclaré Rishi, est la plus compliquée. C’est à ce moment-là que les entreprises font passer leurs agents des prototypes à la production de travaux formels. La troisième phase consiste à faire évoluer ces agents autonomes dans toute l’entreprise. La quatrième et dernière étape, que personne à qui Rishi a parlé n’avait franchie, est l’IA autonome.
Rishi a constaté qu’environ la moitié des 180 entreprises étaient en phase d’expérimentation et de prototypage, tandis que 25 % travaillaient dur pour formaliser leurs prototypes. 13 % supplémentaires étaient en phase de mise à l’échelle et les 12 % restants n’avaient lancé aucun projet d’IA. Cependant, Rishi prévoit un changement radical dans l’avenir : au cours des deux prochaines années, les 50 % prévoient de passer à la phase deux, conformément à leur feuille de route.
“Je pense que nous allons voir très rapidement beaucoup d’adoption”, a déclaré Rishi au public.
Il a toutefois souligné qu’il existe un risque important qui empêche les entreprises d’agir « rapidement et avec force » lorsqu’il s’agit d’accélérer le déploiement d’agents d’IA sur le marché du travail. Ce risque, et le principal obstacle à un déploiement plus large d’agents, réside dans la sécurité et la gouvernance, a-t-il déclaré. Et pour cette raison, les entreprises ont du mal à passer de l’utilisation d’agents pour la récupération de connaissances à une approche orientée vers l’action.
“En fait, notre objectif est d’accélérer la transformation de l’IA”, a déclaré Rishi. “Je pense que le facteur de risque numéro un, l’obstacle numéro un, est le risque (lui-même).”
Intégrer les agents dans le personnel
Kathleen Peters, directrice de l’innovation chez Experian, qui dirige la stratégie produit, a déclaré que le ralentissement est dû à une mauvaise compréhension des risques lorsque les agents d’IA franchissent les barrières mises en place par les entreprises et les garanties nécessaires lorsque cela se produit.
« Si quelque chose ne va pas, s’il y a une hallucination, s’il y a une panne de courant, vers quoi pouvons-nous nous tourner ? » » il a interrogé. “C’est l’une de ces choses pour lesquelles certains dirigeants, selon le secteur, veulent comprendre ‘Comment pouvons-nous nous sentir en sécurité ?'”
Déterminer cet élément sera différent pour chaque entreprise et s’avérera probablement particulièrement épineux pour les entreprises des secteurs hautement réglementés, a-t-il déclaré. Chandhu Nair, vice-président senior des données, de l’intelligence artificielle et de l’innovation chez le détaillant de rénovation domiciliaire Lowe’s, a déclaré qu’il était « assez facile » de créer des agents, mais que les gens ne comprennent pas ce qu’ils sont : sont-ils des employés numériques ? Est-ce une main d’œuvre ? Comment sera-t-il intégré dans le tissu organisationnel ?
“C’est presque comme embaucher un groupe de personnes sans fonction RH”, a déclaré Nair. “Nous avons donc beaucoup d’agents, sans aucun moyen de les cartographier correctement, et telle a été l’approche.”
L’entreprise s’est penchée sur certaines de ces questions, notamment sur la question de savoir qui pourrait être responsable en cas de problème. “C’est difficile à suivre”, a déclaré Nair.
Peters d’Experian a prédit que dans les années à venir, nous verrons bon nombre de ces mêmes questions débattues en public, même si les conversations se dérouleront simultanément à huis clos dans les salles de conseil et au sein des comités de conformité et de stratégie de haut niveau.
Les grosses éruptions susciteront beaucoup d’attention, a poursuivi Peters, et un risque de réputation sera en jeu. Cela entraînera des discussions inconfortables sur les responsabilités en matière de logiciels et d’agents, et tout cela conduira probablement à davantage de réglementation, a-t-il déclaré.
“Je pense que cela fera partie de notre gestion globale du changement social alors que nous réfléchissons à ces nouvelles façons de travailler”, a déclaré Peters.
Il existe néanmoins des exemples concrets de la manière dont l’IA peut bénéficier aux entreprises lorsqu’elle est mise en œuvre d’une manière qui trouve un écho auprès des employés et des clients.
Nair a déclaré que Lowe’s avait constaté une forte adoption et un retour sur investissement « tangible » de l’IA qu’elle a intégrée jusqu’à présent dans les opérations de l’entreprise. Par exemple, parmi ses 250 000 associés en magasin, chacun a un agent accompagnateur possédant une connaissance approfondie des produits dans ses magasins de 100 000 pieds carrés qui vendent de tout, du matériel électrique aux peintures et fournitures de plomberie. La plupart des nouveaux employés de Lowe’s ne sont pas des commerçants, a déclaré Nair, et les agents d’escorte sont devenus la « technologie la plus adoptée » jusqu’à présent.
“Il était important de cibler les cas d’utilisation qui trouvent vraiment un écho auprès du client”, a-t-il déclaré. En termes de conduite du changement dans les magasins, « si le produit est bon et peut ajouter de la valeur, l’adoption monte en flèche ».
Qui surveille l’agent ?
Mais pour ceux qui travaillent au siège, les techniques de gestion du changement doivent être différentes, a-t-il ajouté, ajoutant ainsi à la complexité.
Et de nombreuses entreprises restent bloquées sur une autre question initiale : doivent-elles créer leurs propres agents ou s’appuyer sur les capacités d’IA développées par les principaux éditeurs de logiciels ?
Rakesh Jain, directeur exécutif de l’ingénierie cloud et de l’intelligence artificielle chez Mass General Brigham Health System, a déclaré que son organisation adoptait une approche attentiste. Étant donné que les principales plates-formes telles que Salesforce, Workday et ServiceNow créent leurs propres agents, cela pourrait créer des redondances si votre organisation crée ses propres agents en même temps.
“S’il y a des lacunes, alors nous voulons créer nos propres agents”, a déclaré Jain. “Sinon, nous serions dépendants de l’achat des agents créés par les fournisseurs de produits.”
Dans le domaine des soins de santé, Jain a déclaré qu’il existe un besoin crucial d’une surveillance humaine compte tenu des enjeux élevés.
“La complexité des patients ne peut pas être déterminée par des algorithmes”, a-t-il déclaré. “Il doit y avoir un être humain impliqué dans tout cela.” D’après leur expérience, les agents peuvent accélérer la prise de décision, mais les humains doivent prendre la décision finale et les médecins valident tout avant d’agir.
Néanmoins, Jain voit également un énorme potentiel de hausse à mesure que la technologie évolue. En radiologie, par exemple, un agent formé grâce à l’expérience de plusieurs médecins pourrait détecter des tumeurs dans des tissus denses qu’un seul radiologue pourrait manquer. Mais même avec des officiers formés par plusieurs médecins, « vous devez toujours avoir un jugement humain », a déclaré Jain.
Et la menace d’une atteinte excessive de la part d’un agent censé être une entité de confiance est toujours présente. Il a comparé un agent malveillant à une maladie auto-immune, qui est l’une des affections les plus difficiles à diagnostiquer et à traiter pour les médecins, car la menace est interne. Si un agent au sein d’un système « devient corrompu », a-t-il déclaré, « cela causera des dégâts considérables que les gens n’ont pas pu vraiment quantifier ».
Malgré les questions ouvertes et les défis imminents, Rishi a déclaré qu’il existe une voie à suivre. Il a identifié deux exigences pour instaurer la confiance dans les agents. Premièrement, les entreprises ont besoin de systèmes qui garantissent que les agents opèrent au sein de barrières politiques. Deuxièmement, ils ont besoin de politiques et de procédures claires lorsque les choses tournent inévitablement mal – une politique forte. Nair a également ajouté trois facteurs pour générer la confiance et avancer intelligemment : l’identité et la responsabilité et savoir qui est l’agent ; évaluer la cohérence de la qualité de la production de chaque agent ; et examinez la trace post-mortem qui peut expliquer pourquoi et quand des erreurs se sont produites.
“Les systèmes peuvent commettre des erreurs, tout comme les humains”, a déclaré Nair. “Mais être capable d’expliquer et de récupérer est tout aussi important.”
