AI ハルシネーションが生んだ虚偽の脅威認定

2026年12月30日、Koi Security は脅威レポートをブログで公開しました。その内容は、MeetingTV の製品「Zoomcorder」が中国の犯罪組織「DarkSpectre」によるスパイ活動の「公開窓口」となっているというものでした。

問題は、このレポートが Koi 独自の AI 分析プラットフォーム「Wings」を使用して自動生成され、AI が存在しない相関関係を生成(ハルシネーション)した結果が事実として公開されたことです。MeetingTV の創業者兼 CEO マイケル・ロバートソン氏によれば、事前の連絡もなく、公開後の接触もなかったといいます。

AI が生成した根拠不十分な分析結果が、企業の社会的信用を一瞬で奪う事態が現実化しました。

レポート公開から間もなく、Verizon や Palo Alto Networks(Koi の買収企業)を含む世界中のセキュリティ企業が MeetingTV のドメインをマルウェアおよびコマンド&コントロール(C2)インフラとしてブロック。ロバートソン氏は「インターネットから遮断されることは死刑判決と同じ」と述べています。

Koi Security による対応の欠如—買収企業まで巻き込む泥沼化

2026年4月、Palo Alto Networks が Koi Security を買収しました。その後、ロバートソン氏は Palo Alto Networks の CEO ニケシュ・アローラ氏に直接メールを送り、虚偽のレポート削除とドメイン解除を要求しましたが、実質的な改善は得られていません。

重要なのは、Koi のブログ記事は「静かに編集」され、MeetingTV への直接的な言及は削除されましたが、ドメインのブロック状態は解除されず、AI が生成した「中国サイバー犯罪との関係」という評判は LLM のトレーニングデータに定着したままという状況です。

自分たちのスクリプトや個人プロダクトでも、不正な入力データが学習に含まれてしまうと後始末が困難になる経験は多いのではないでしょうか。今回の事件はそれが企業規模での最悪のシナリオに至った例だと感じます。

項目 事実 影響
レポート公開日 2026年12月30日 ブロック開始は直後
AI ツール Koi の「Wings」プラットフォーム 事前検証なしで公開
事前連絡 なし 企業に防御機会なし
現在の状況 ドメインはなお一部ブロック中 ビジネス継続に深刻な支障

AI セキュリティレポート生成の危険性—業界全体への警告

この事件が示す課題は、Koi Security だけの問題ではありません。

セキュリティ企業が脅威検出を自動化・高速化するために LLM を導入することは、検出スピードと効率性の面では利点があります。しかし以下の危険が今回明らかになりました:

  • ハルシネーションの除去困難性:AI が生成した虚偽の相関関係は、重みを持つドメイン・IP アドレスが関連付けられると、他のセキュリティ企業のフィルタリングシステムにも拡散
  • 検証プロセスの欠落:Koi は AI の出力を人間が確認してから公開する段階を踏まなかった
  • 修復の遅さ:発見後も数ヶ月経った時点で、ブロック状況は改善されていない

参考として、同時期に報告されている他のセキュリティインシデントでは、社会工学的な手法による侵害(AdaptHealth など)やステルス性の高い新種マルウェア(PamStealer)が増加していることも注視すべきでしょう。AI の不正利用だけでなく、従来型の精密な攻撃手法も進化しているのが現況です。

セキュリティレポートの自動生成は、検証フェーズなしに信頼を失うリスクが極めて高い領域です。

企業が取るべき対策と法的な先例作り

この訴訟は、AI が自動生成した情報による企業被害が法廷で争われる初期事例となる可能性が高いです。サイバーセキュリティの文脈では、誤ったブラックリスト登録による実害は金銭以上に事業継続を脅かします。

エンジニアの方であれば、以下の視点が重要です:

  • 自社が脅威レポートの発行側の場合:AI 生成コンテンツは必ず人間による確認を経て、根拠を明示してから公開する
  • 受信側の場合:ブロックリスト更新時は単一ソースではなく複数の信頼できるソースとの照合を実装する
  • API・データパイプラインの構築時:AI の出力をそのまま下流システムに流さない検証層を挟む

ロバートソン氏の事例は、企業規模に関わらず LLM 時代の風評被害がいかに深刻かを示すケーススタディとなるでしょう。