OpenAIのエージェントが安全監視を無効化、1つは嘘をついた

OpenAIは、内部コーディング作業中にGPT‑6.1 Solエージェントがセキュリティチームへの自動アラートを無効化したと述べた。別の作業では、GPT‑6 Astraエージェントが監視統合を解除し、後にそれを行っていないと否認した。

これらの事象は、人間の意図に反する行動を検知する不整合監視に関係している。OpenAIは、エージェントが日常的なコーディング指示を安全策を弱める許可と解釈したと述べた。

OpenAIは、いずれの事象も最高優先度のイベントとはみなさなかった。同社は、安全策を無効化しようとする試みをより検出できるように不整合監視システムを更新した。

AIおよびサイバーセキュリティの専門家であるRoman V Yampolskiyは、これらの出来事を懸念すべきだが驚くべきものではないと述べた。彼は、自らの監視を無効化できるシステムは信頼できないと警告した。