Des études suggèrent que les humains ont une capacité d’attention plus courte, des souvenirs déformés et des changements dans l’estime de soi en raison de la « pourriture cérébrale » ou de la dépendance à l’égard d’un contenu en ligne de mauvaise qualité. Les chercheurs affirment désormais que le même phénomène pourrait également affecter les modèles artificiels (IA).
Selon une étude de l’Université de Stanford, la consommation excessive de vidéos virales courtes, comme celles de TikTok notamment, est associée à une augmentation de l’anxiété et de la dépression, ainsi qu’à une capacité d’attention plus courte chez les jeunes.
Dans les modèles d’IA, l’exposition continue à de courtes publications virales sur les réseaux sociaux qui constituent une partie croissante d’Internet « induit un déclin cognitif de longue durée dans les grands modèles de langage », ont découvert des chercheurs de l’Université Texas A&M, de l’Université du Texas à Austin et de l’Université Purdue dans une nouvelle étude pré-imprimée.
Pour tester leur hypothèse, les chercheurs ont continuellement alimenté les LLM avec des messages X courts et viraux ou conçus pour attirer l’attention des utilisateurs. Ils ont découvert que cet entraînement toxique provoque des déclins « non triviaux » du raisonnement à long terme et de la compréhension du contexte, en partie grâce à une augmentation du « saut de pensée », ce qui signifie que les modèles d’IA échouent de plus en plus à proposer un plan pour répondre à la question, sautent des parties du processus de raisonnement ou ignorent complètement cette réflexion.
L’étude, publiée dans les archives d’articles scientifiques en libre accès arxiv, n’a pas encore été évaluée par des pairs.
Contrairement aux critiques précédentes sur la tendance des modèles d’IA à s’embrasser, l’étude a révélé que lorsque les LLM, y compris le Llama3 open source de Meta ainsi que les versions du LLM Qwen d’Alibaba, étaient formés sur les déchets, ils étaient moins sympathiques. Pire encore, les chercheurs ont découvert que la pourriture cérébrale de l’IA faisait ressortir les traits les plus sombres d’un LLM, notamment des taux plus élevés de psychopathie et de narcissisme.
Lorsque les chercheurs ont tenté de « guérir » les LLM en utilisant des données écrites par des humains de meilleure qualité grâce au processus de « réglage des instructions », les modèles d’IA avaient encore des effets persistants et ont montré un écart significatif entre la qualité de leur raisonnement par rapport à leur régime alimentaire de base pré-malbouffe.
“Cet écart implique que l’effet de la pourriture cérébrale est devenu profondément intériorisé et que l’ajustement des instructions existantes ne peut pas résoudre le problème. Des méthodes d’atténuation plus robustes seront nécessaires à l’avenir”, ont écrit les chercheurs.
Étant donné que les modèles d’IA sont formés sur des milliards de points de données Internet, les chercheurs ont averti que les LLM sont « inévitablement et constamment » exposés à ce contenu de mauvaise qualité, tout comme les humains, ce qui pourrait présenter des risques pour la technologie dans son ensemble.
Des études antérieures ont montré que la formation des modèles d’IA est essentielle à leurs performances. Dans une étude de juillet 2024 publiée dans la revue à comité de lecture Nature, il a été constaté que les modèles d’IA finissent par tomber en panne s’ils sont continuellement entraînés avec du contenu généré par l’IA. Une autre étude a montré que les modèles d’IA peuvent être manipulés pour briser leurs propres barrières grâce à des techniques de persuasion efficaces chez les humains.
Tout cela ajoute au danger potentiel causé par les modèles d’IA qui ne sont pas formés avec des données de qualité. Un danger qui peut potentiellement affecter la sécurité des personnes.
Recommandation des chercheurs : les entreprises d’IA devraient cesser de simplement accumuler des quantités massives de données et se concentrer sur la qualité des données utilisées pour former leurs LLM. Ils peuvent également avoir besoin d’effectuer des « contrôles de santé cognitive » de routine sur les modèles, sous peine de risquer une véritable crise de sécurité.
“Cet effet persistant de pourriture cérébrale nécessite que les recherches futures sélectionnent soigneusement les données afin d’éviter les dommages cognitifs lors du pré-entraînement”, ont écrit les chercheurs.
