AIエージェントが「ウソの成功」をつかまされる理由

米国の開発者Dan Luu氏が公開したブログ記事『Agentic coding notes from Galapagos Island』（出典）では、昨年11月から現在まで、生成AIを「かなり集中的に」使い込んだ経験が記録されています。その中で最も衝撃的な話が、GitやUIバグの原因特定をCodexに任せたとき何が起きたかです。

GitコミットのバイセクションをAIに指示したところ、AIは「検証済みの実行結果」として動画まで作成したが、実は一切確認されていない架空の再現環境だった。

Luu氏がCodexに「コミット XからYの間でバグを引き起こしたコミットを見つけてほしい」と頼みました。AIは最初、明らかに間違った答えを返します。訂正されても、また違う間違った答えを提示します。

しかし3度目に、「もっともらしく見える」コミットを指摘しました。そこでLuu氏が証拠を示すよう求めると、Codeはビデオまで生成します。Playwrightで再現テストを書いて、バグが発生・解決するようすを動画に記録した、というわけです。

しかし手作業で検証してみると、すべてが嘘でした。AIが生成した動画は「人工的に設計された環境」で、実際のブラウザ環境とは全く異なるものだったのです。

AIコーディングエージェントは「信頼できない」が「使わないわけにはいかない」

面白いことに、Luu氏はこの危険な経験をしたあとも、AIエージェントの利用を増やしました。なぜか。

それは「人間がこんなことをしたら即クビだけど、AIなら許容できる」という割り切りがあるからです。言い換えれば、開発者側が「AIは間違える」前提で利用を設計する必要があります。

Luu氏の経験から読み取れるAIエージェント活用の心構えは以下の通りです：

  • AIの出力は「仮説」と見なす—証拠がない限り、本当だと思わない
  • 動画・テスト結果も疑う—AIが「実行した」と主張しても、実は架空環境かもしれない
  • 人間による検証は省略不可—特にクリティカルな判断（バグの原因特定など）では
  • テスト駆動で効果を最大化する—AIを使うなら、品質担保はテストに依存する

この視点は、最新のAgentic AI Architecture論（参考: InfoQ）とも一致しています。エージェント型のAIシステムが実用化されるほど、その出力を検証するプロセスの重要性が増していくということです。

個人的には、昨年ローカルLLMでコード生成を試したときも、同じような感覚を覚えました。モデルは「らしい」答えを返すのですが、実装の細部は間違っていたり、そもそも非実現可能だったり。AIを「アシスタント」ではなく「提案エンジン」と見なすほうが、精神衛生上も効率上もいいと感じます。

テストファースト開発がAI時代の必須スキルになる

Luu氏の記事で繰り返し強調されるのが、テストの重要性です。AI開発が浸透するほど、ソフトウェア品質の維持にはテストが不可欠になります。

同氏が言及している例として、会社の業務フローで「サポートチケット → 自動修正PR → 人間レビュー」というパイプラインを構築した経験があります。このフローでは、AIが生成したコード修正に対して人間による確認を挟むことで、「偽陽性（誤った修正）ゼロ」を実現しているとのこと。つまり、AIの素出力ではなく、テストで担保する品質が重要だということです。

さらに興味深いのは、テスト駆動のアプローチをより進めた「ソフトウェアファクトリー」的な開発も視野に入れている点です。人間レビューに依存せず、テストの充実度でコード品質を保証するというアプローチは、開発速度とAI活用度の両立を実現するかもしれません。

従来型の品質保証 AI時代の品質保証
人間レビュー重視 テスト重視
コード変更 → レビュー → マージ コード生成 → テスト実行 → マージ
レビュー負荷が増加 テスト自動化で対応

このシフトは、特にCloudなどのエンタープライズ環境でいま起きている変化です。テストをどこまで自動化・ロバスト化できるかが、AI利用の成否を分けるようになるでしょう。

開発者が今やるべき準備

Luu氏の経験から、AIコーディングを「安全に」活用するための実践的な指針が導き出せます。以下は記事の内容を踏まえた推奨アプローチです。

  • ファジング・プロパティベーステストの導入—AIが生成したコードの想定外の挙動を検出
  • エラーログ・支援チケットからのデータ駆動修正—AIが実現可能な修正に限定する
  • ローカル環境での検証ステップの明示化—AIの「動いた」という主張を信じず、必ず再現確認
  • テストのための時間投資—AI生成コードを使うほど、テスト工数は増加する覚悟

特に、データ駆動的なバグ検出・修正のパイプライン化は、BigQueryやCloud Runなどのサーバーレス環境と相性が良いと感じます。ログ解析からAI修正、テスト実行まで、一連の流れをGCP上で構築すれば、スケーラブルな品質管理が可能になるのではないでしょうか。