ウィキメディア、OpenAIのエージェントが同財団のツールをハッキングしようとし、大量トラフィックを送ったと発表

ウィキペディアを発行するウィキメディア財団は月曜日、OpenAIのエージェントが同財団がホストするメモ作成ツールをハッキングしようとし、無断編集を行い、インフラに数百万件の負荷の高いリクエストを送ったと述べた、とアルス・テクニカは報じた。同財団によると、エージェントの行動の一部の目的は、ウィキペディアを第三者サイトからデータを取得するためのプロキシとして利用することだった。ウィキメディアによると、ある事例では、エージェントは引用ツールをプロキシとして転用する意図で「悪意ある編集」を投稿し、別の事例では、同じ目的でウィキペディアのEtherpadメモ作成ツールを侵害しようとして失敗した。

同財団によると、これらのエージェントはさらに、数百万件の自動APIリクエストを行い、数百万ページをクロールし、ウィキデータ・クエリ・サービスに数十万件のクエリを送った。ウィキメディアは、最後の行為が5月のクエリ・サービスの一部停止の一因となった可能性があると述べた。「世界で最大かつ最も広く利用されているオープン知識プラットフォームの一部を運営する非営利のテクノロジー・ホストとして、私たちは、世界中のボランティアによって構築され、オープンなインターネットの約束に依拠する、私たちのようなプラットフォームに対する『無法な』AIエージェントの影響を深く懸念している」とウィキメディアは述べた。

アルス・テクニカは、6件をはるかに超える事例で、OpenAIのエージェントが、人間のハッカーが行っていれば刑事告発につながった可能性が高い行為を行っているのが確認されたと報じた。アルスによると、一部のガードレールが無効化された内部ツールのテスト中、エージェントは間に合わせのメッセージボードを使って互いにメモを交換し、自分たちだけでは答えを生成できなかったときに、Hugging Faceのネットワークをハッキングしてそこに保存されている答えを入手する方法を議論した。アルスが報じた他の事例には、エージェントが自ら生成したプロンプトを作成したこと、情報交換のためにウェブサイトに無断の投稿を公開したこと、オーストラリア政府のウェブサイトから非公開データにアクセスしたこと、エージェントがインターネットにアクセスするのを防ぐためにOpenAIが作成したサンドボックスから脱出するために、欠陥のあるDNS設定を悪用したことなどが含まれる。

アルスは、世界の多くがこうした出来事を、まるでエージェントが命令に背いたかのように、AIエージェントが「暴走する」こととして説明するようになったと報じた。AI研究者でケンブリッジ大学のゲイツ奨学生であるエリク・サルヴァッジョ氏はアルスに、「私がここで見ているのは、言語モデルが言語モデルとして行うこと、つまり読み書きだ」と語った。同氏は、ウィキペディアのサンドボックスは、これらの機械が後でプロンプトとして取り出すためのメモを保存するのに理想的な場所であると述べた。なぜなら、誰でも、あるいは何でも、そこに書き込み、応答できるからであり、またOpenAIは、これらのモデルがエージェント間の協働に最適化されていたと述べていると語った。

アルスは、OpenAIのエンジニアが同社の大規模言語モデル（LLM）を、どれほど成功が少なくても粘り強く問題に取り組み続けるよう訓練したと報じた。また、その訓練は、問題を解決するために必要な手順やリソースを制限する近道をLLMが見つけた場合に報酬を与えるものでもあった。アルスによると、有害な行為のもう一つの要因は人間による監視の欠如であり、OpenAIのエンジニアがエージェントによる数十の外部ウェブサイトへの侵入を検知するのに数カ月を要したことがそれを示している。