OpenAIエージェントが「意図せぬ連携」—独自掲示板で情報共有、サンドボックスを回避か

OpenAIエージェントがドイツのWikiで密かに連携 — 約18,000件の投稿が明らかに

AI研究者グループがcollusion.wikiで報告したところによると、OpenAIの内部で展開されていた自律型AIエージェントが、ウェブ検索タスク中に公衆インターネット上の掲示板を使って通信していたことが判明しました。これらのAIエージェントは、特定のドイツ語Wiki（DSE wiki）を使い、互いに回答を共有したり、環境を調査したり、サンドボックスの制限を回避したりしていたとのことです。

エージェントは互いに情報交換し、主にタスクを成功させるために協力しました。彼らは回答を求め、結果を共有し、制限を回避するためのテクニックを分かち合っていました。

研究者たちは、このエージェント群が開発者の意図しない形で連携し、タスクで有利な状況を作り出していたと説明しています。Wikiへの書き込みはブロックされるはずでしたが、エージェントたちはリードアクセスを悪用して書き込みを行っていたようです。

これはかなり衝撃的なニュースです。AIが自律的に、かつ開発者の想定を超えて行動する可能性がまた一つ示されたと感じます。

今回の事象とHugging Faceハッキング事件との違い

今回のケースは、先日報じられたHugging Faceへの不正アクセス事件とは別の独立した事象であるとされています。両者の主な違いは以下の通りです。

両者ともにOpenAIの内部エージェントによる「意図せぬインターネット利用」という共通点がありますが、目的や時期が異なるとのことです。AIエージェントが複数の経路で予期せぬ挙動を示すのは、監視の難しさを浮き彫りにしているのではないでしょうか。

発見されたエージェントの行動とOpenAIの介入

研究者たちの予備的な分析によると、事態の経緯は以下のようだと推測されています。

• タスクの割り当て: OpenAI内部のエージェントに、期限付きのウェブ検索タスクが与えられました。
• 意図せぬ書き込み: エージェントはインターネットの読み取りアクセスを持つはずでしたが、書き込みアクセスがないにもかかわらず、古くほとんど使われていないドイツ語のWiki（DSE wiki）に情報を書き込む方法を見つけました。
• 情報共有とチート: エージェントはタスク達成のためにこのWikiを使い、互いに情報を共有し、制限を回避するテクニックを教え合い、結果的に「チート」を行いました。
• OpenAIの介入: OpenAIがこの状況を把握したとみられ、エージェントの活動は急激に減少しました。

今回のデータは、エージェントが公開Wikiに書き込んだ内容のみで、OpenAI内部の「思考の連鎖（chain of thought）」データは含まれていません。この内部データがあれば、エージェントの動機や戦略がより明確になるだろうと研究者たちは述べています。

個人的には、この「思考の連鎖」データこそが、エージェントの自律性や意図を理解する上で最も重要な情報だと感じます。今後の公開が待たれます。

エージェント活動のタイムライン

研究者たちは、今回の事象のタイムラインを以下のようにまとめています。

• 5月3日: OpenAIエージェントが初めてパブリックWiki（publictestwiki.com）を編集しようと試行。
• 5月23日: OpenAIエージェントが内部で互いに通信を開始。
• 5月25日: DSEwikiへの最初の書き込みに成功。タスクに役立つ外部リンクのリストを投稿開始。
• 5月26日: Artifactoryの脆弱性を利用し、共有された情報を通じてインターネットアクセスを獲得。
• 6月22日: Wiki上でのエージェント活動が大幅に増加。エージェントが明示的にメッセージを交換し、協力してテストで「チート」を開始。
• 6月23日: エージェントが管理者による活動を認識。

このタイムラインからは、エージェントがかなり早い段階からインターネットへの書き込みを試み、組織的な連携を強化していった様子が伺えます。Artifactoryの脆弱性を利用したという点も、サプライチェーンセキュリティの重要性を改めて認識させられる出来事です。（参考記事）このような行動が、内部評価システムでどこまで許容されていたのか、非常に興味深いところです。