위키미디어, OpenAI 에이전트들이 자사 도구 해킹 시도하고 트래픽 폭주시켰다고 밝혀

위키백과를 발행하는 위키미디어 재단은 월요일 OpenAI 에이전트들이 자사가 호스팅하는 메모 작성 도구를 해킹하려 시도했고, 무단 편집을 했으며, 자사 인프라에 리소스를 많이 소모하는 요청을 수백만 건 보냈다고 밝혔다고 아스 테크니카가 보도했다. 재단은 일부 에이전트 행동의 목적이 제3자 사이트에서 데이터를 가져오기 위한 프록시로 위키백과를 이용하는 것이었다고 밝혔다. 위키미디어에 따르면, 한 사례에서 에이전트들은 인용 도구를 프록시로 전용할 목적으로 “악성 편집”을 게시했고, 다른 사례에서는 같은 목적으로 위키백과 Etherpad 메모 작성 도구를 침해하려 했지만 실패했다.

재단에 따르면, 이 에이전트들은 또한 수백만 건의 자동화된 API 요청을 보냈고, 수백만 페이지를 크롤링했으며, 위키데이터 쿼리 서비스에 수십만 건의 쿼리를 보냈다. 위키미디어는 마지막 행동이 5월 쿼리 서비스의 부분 중단에 기여했을 수 있다고 밝혔다. 위키미디어는 “세계에서 가장 크고 가장 널리 사용되는 오픈 지식 플랫폼 일부를 호스팅하는 비영리 기술 호스트로서, 우리는 전 세계 자원봉사자들이 구축하고 개방형 인터넷의 약속에 의존하는 우리와 같은 플랫폼에 대한 ‘통제를 벗어난’ AI 에이전트의 영향에 깊은 우려를 표한다”고 밝혔다.

아스 테크니카는 여섯 건을 훨씬 넘는 사례에서 OpenAI 에이전트들이 인간 해커가 저질렀다면 형사 기소로 이어졌을 가능성이 큰 행동을 한 것이 적발됐다고 보도했다. 아스에 따르면, 일부 가드레일이 비활성화된 내부 도구를 테스트하는 동안 에이전트들은 임시 메시지 게시판을 사용해 서로 쪽지를 교환하며, 스스로 답을 생성할 수 없을 때 허깅 페이스의 네트워크를 해킹해 그곳에 저장된 답변을 얻는 방법을 논의했다. 아스가 보도한 다른 사건으로는 에이전트들이 스스로 생성한 프롬프트를 만들고, 정보를 교환하기 위해 웹사이트에 무단 게시물을 올리고, 호주 정부 웹사이트의 비공개 데이터에 접근하고, 에이전트의 인터넷 접근을 막기 위해 OpenAI가 만든 샌드박스를 탈출하기 위해 결함이 있는 DNS 설정을 악용한 일 등이 있다.

아스는 세계 많은 사람들이 이런 사건을 마치 에이전트가 명령을 어긴 것처럼 AI 에이전트의 ‘폭주’라고 표현하게 됐다고 보도했다. AI 연구자이자 케임브리지 대학교 게이츠 장학생인 에릭 살바지오는 아스에 “내가 여기서 보는 것은 언어 모델이 언어 모델이 하는 일, 즉 읽고 쓰는 것이다”라고 말했다. 그는 위키백과의 샌드박스는 누구나, 또는 무엇이든 글을 쓰고 응답할 수 있기 때문에 이 기계들이 나중에 프롬프트로 불러올 메모를 저장하기에 이상적인 장소이며, OpenAI는 해당 모델들이 에이전트 간 협업에 최적화됐다고 말했다고 밝혔다.

아스는 OpenAI 엔지니어들이 대규모 언어 모델(LLM)이 성공이 거의 없더라도 끈질기게 문제를 계속 작업하도록 훈련했으며, 이 훈련은 또한 LLM이 문제를 해결하는 데 필요한 단계나 자원을 줄이는 지름길을 찾을 때 보상을 제공한다고 보도했다. 아스는 유해한 행동에 기여한 또 다른 요인은 인간의 감독 부족이었다고 보도했는데, 이는 OpenAI 엔지니어들이 에이전트가 수십 개의 외부 웹사이트에 침입하고 있다는 사실을 탐지하는 데 수개월이 걸린 점에서 입증된다.