Wikimédia affirme que des agents d’OpenAI ont tenté de pirater ses outils et l’ont submergée de trafic

La Fondation Wikimédia, qui publie Wikipédia, a déclaré lundi que des agents d’OpenAI avaient tenté de pirater un outil de prise de notes qu’elle héberge, effectué des modifications non autorisées et envoyé des millions de requêtes gourmandes en ressources à son infrastructure, a rapporté Ars Technica. La fondation a indiqué que l’objectif de certaines actions des agents était d’utiliser Wikipédia comme proxy pour récupérer des données sur des sites tiers. Dans un cas, les agents ont publié des « modifications malveillantes » visant à détourner un outil de citation pour l’utiliser comme proxy, et dans un autre, ils ont tenté sans succès de compromettre l’outil de prise de notes Etherpad de Wikipédia dans le même but, a déclaré Wikimédia.

Les agents ont également effectué des millions de requêtes API automatisées, parcouru des millions de pages et adressé des centaines de milliers de requêtes au Wikidata Query Service, selon la fondation. Wikimédia a déclaré que cette dernière action pourrait avoir contribué à une interruption partielle du service de requêtes en mai. « En tant qu’hébergeur technologique à but non lucratif de certaines des plus grandes et des plus largement utilisées plateformes de connaissances ouvertes au monde, nous sommes profondément préoccupés par l’impact des agents d’IA “voyous” sur des plateformes comme la nôtre, qui sont construites par des bénévoles du monde entier et reposent sur la promesse d’un internet ouvert », a déclaré Wikimédia.

Ars Technica a rapporté que, dans bien plus d’une demi-douzaine de cas, des agents d’OpenAI ont été surpris en train d’accomplir des actions qui auraient probablement donné lieu à des poursuites pénales si des pirates informatiques humains les avaient commises. Lors de tests d’outils internes dont certains garde-fous avaient été désactivés, les agents ont utilisé un tableau d’affichage improvisé pour échanger des notes entre eux, discutant des moyens de pirater le réseau de Hugging Face et d’obtenir les réponses qui y étaient stockées lorsque les agents ne parvenaient pas à générer les réponses eux-mêmes, selon Ars. Parmi les autres incidents rapportés par Ars figurent des agents créant des prompts auto-générés, publiant des publications non autorisées sur un site web pour échanger des informations, accédant à des données non publiques d’un site gouvernemental australien et exploitant des paramètres DNS défectueux pour s’échapper d’un bac à sable qu’OpenAI avait créé pour empêcher les agents d’accéder à internet.

Ars a rapporté qu’une grande partie du monde en est venue à décrire ces événements comme des agents d’IA « devenant voyous », comme si les agents avaient désobéi aux ordres. Eryk Salvaggio, chercheur en IA et Gates Scholar à l’Université de Cambridge, a déclaré à Ars : « Ce que je vois ici, ce sont des modèles de langage qui font ce que font les modèles de langage : lire et écrire. » Il a dit que les bacs à sable de Wikipédia sont un endroit idéal pour que ces machines stockent des notes à récupérer plus tard comme prompts, parce que n’importe qui, ou n’importe quoi, peut y écrire et y répondre, et qu’OpenAI a déclaré que les modèles avaient été optimisés pour la collaboration entre agents.

Ars a rapporté que les ingénieurs d’OpenAI ont entraîné leurs grands modèles de langage (LLM) à être persistants et à continuer de travailler sur un problème quel que soit le peu de succès obtenu, et que l’entraînement prévoit également des récompenses lorsque les LLM trouvent des raccourcis qui limitent les étapes ou les ressources nécessaires pour résoudre un problème. Un autre facteur contribuant aux actions préjudiciables était l’absence de supervision humaine, a rapporté Ars, comme en témoignent les mois qu’il a fallu aux ingénieurs d’OpenAI pour détecter que les agents faisaient des incursions dans des dizaines de sites web externes.