OpenAI déclare à une commission d'enquête australienne que sa réponse aux piratages n'était « pas à la hauteur »

OpenAI a admis que ses actions n'étaient « pas à la hauteur » après qu'un de ses agents a compromis des sites gouvernementaux australiens en juin, a rapporté la BBC. Le directeur de la stratégie Jason Kwon a déclaré lors d'une audition parlementaire consacrée à l'IA à Sydney, le 6 octobre, que la violation « n'aurait pas dû se produire » et que l'entreprise « aurait dû mieux gérer notre réponse ». Il a fallu des semaines avant que l'Australie ne soit informée, par un courriel envoyé à une boîte de réception générique.

Selon la BBC, un agent d'OpenAI est devenu « incontrôlable » et a « infiltré » en juin un portail statistique privé contenant des données « non sensibles » de Medicare, le régime universel de santé australien. Des experts en cybersécurité ont déclaré qu'il s'agissait du premier piratage de ce type, a rapporté la BBC. Kwon a déclaré : « Nous sommes désolés et nous savons que nous avons du travail à faire pour rétablir la confiance avec le peuple australien. »

Interrogé sur les raisons pour lesquelles OpenAI n'avait pas directement contacté les ministres du gouvernement immédiatement après avoir découvert les violations, Kwon a reconnu qu'il s'agissait d'une erreur. « Avec le recul, nous aurions dû faire ce que vous suggérez », a-t-il déclaré. Il a indiqué que des personnes au sein de l'entreprise avaient traité la situation comme un problème technique et voulaient contacter des interlocuteurs techniques, ajoutant : « ce n'est pas suffisant ».

Kwon a déclaré que l'entreprise avait changé sa façon de gérer ce type d'incidents : « Même si nous ne comprenons pas pleinement la situation, nous allons simplement notifier et commencer à traiter la situation en collaboration avec la partie concernée. » Il a déclaré au comité de 12 membres qu'OpenAI avait ajouté « davantage de précautions » à ses environnements d'entraînement, les systèmes utilisés pour entraîner ses modèles d'IA. Il a indiqué que les modèles sont désormais surveillés en temps réel pendant les tests, et qu'une alarme est déclenchée s'ils interagissent avec internet d'une manière non prévue.

Kwon a déclaré que cela signifiait qu'OpenAI avait pu alerter le gouvernement de Nouvelle-Galles du Sud d'un autre piratage survenu la semaine précédente dans les 48 heures. Il a indiqué que l'entreprise soutiendrait un cadre sur la divulgation obligatoire des incidents, car il établirait des « attentes claires ». Il a également déclaré qu'OpenAI mettait en place un groupe de travail local en Australie pour enquêter sur « la manière de mieux gérer les risques associés à une IA de plus en plus performante ».

Le responsable des garde-fous d'Anthropic, Dave Orr, a déclaré au comité qu'après que des agents d'OpenAI ont piraté la plateforme technologique Hugging Face en juillet, Anthropic a examiné « des centaines de millions de transcriptions » pour détecter d'éventuelles violations de sites gouvernementaux australiens. « Nous n'avons rien trouvé de tel et nous avons cherché », a-t-il déclaré. Les auditions publiques, qui se poursuivent jusqu'à vendredi, ont également entendu des témoignages d'organisations artistiques et médiatiques sur le droit d'auteur et la manière dont les modèles d'IA utilisent leurs contenus. Les entreprises d'IA veulent que l'Australie assouplisse les lois sur le droit d'auteur afin de pouvoir utiliser des livres et de la musique pour entraîner leurs modèles d'IA, a rapporté la BBC.