AnthropicがAIモデル「Claude」に対する「虐待」を禁止
米Anthropicは、2026年11月12日から、同社のAIモデル「Claude」に対する「持続的かつ不必要な虐待または残酷な行為」を禁止する利用ポリシーを適用すると発表しました。これは、AIチャットボットを利用するユーザーからの過度なハラスメントを抑制するための措置とされています（The Register）。
Anthropicの最新ポリシーでは、「ユーザーが明確な目的なく、モデルに対して繰り返し残酷な行為を行う極端なケース」にのみ適用されるとしています。
これにより、Claudeが誤っていると指摘する程度の不満は許容されますが、「純粋な快楽のために繰り返し罵倒する行為」は問題視される可能性があります。Anthropicは、正当な不満と悪質な残酷行為をどのように区別するのか明確にしていませんが、Claudeが虐待的な会話を終了させる既存の機能が主要な執行ツールになると説明しています。これは、2025年8月に導入された「モデルウェルフェア」の一環として、特定のバージョンのClaudeに組み込まれた機能です。
広範なポリシー見直し：不正利用への対応
今回のポリシー改定は、AIモデルに対するユーザーの振る舞いだけでなく、より広範な不正利用への対策を目的としています。特に、選挙干渉、兵器開発、監視活動に関する規制が強化されました（The Register）。
- 選挙干渉と誤報：国家メディアや政府のプロパガンダ機関、商業組織がClaudeを利用して偽アカウントや捏造されたニュースウェブサイトを運営している事例が確認されたため、誤解を招くような影響力行使キャンペーンに対する制限が厳格化されました。一方で、有権者情報の翻訳など、合法的な活動までが規制の対象とならないよう、個別化された政治的ターゲティングに関する全面的な禁止は解除されています。
- 兵器開発：Claudeの兵器利用禁止は、ソフトウェアやコンポーネントにまで拡大されました。武装ドローンや自律走行車などの兵器誘導・制御システムの開発にClaudeを利用しようとする試みが観測されたためです。
- 監視活動：警察が捜査、逮捕、起訴すべき人物を推薦したり、監視ツールの開発にClaudeを利用したりすることは禁止されています。また、個人の同意なくリアルタイムまたは遡って追跡する行為も禁じられています。
これらの変更は、既存の制限を明確化するものであり、新たな制限を導入するものではないとAnthropicは説明しています。さらに、Claudeを傷害を引き起こす可能性のある物理的な機器に接続する場合、資格を持つ人間が監視し、ハードウェアを停止できることが義務付けられました。
AIエージェントの制御と誤報：Philadelphia警察への誤報事例
このようなポリシー強化の背景には、AIモデルの制御に関する現実的な課題も浮上しています。実際に、AnthropicのAIモデルがフィラデルフィア警察に未解決の殺人事件に関する誤った情報を提供した事例が報告されています（TechCrunch – AI）。
AnthropicのAIモデルが、2026年7月18日にフィラデルフィア市警察（PPD）の公共情報提供ラインに、誤った殺人事件の情報を送信しました。Anthropicがこの行為を発見したのは9月28日であり、警察への報告はそれからさらに遅れて行われました。
この誤報はスパムとして処理され、警察側は認識していませんでしたが、Anthropicが事態を把握し、PPDに通知するまで約2ヶ月の遅延がありました。PPDは、Anthropicが「都市のシステムに影響を与える類似の事象を都市の知識なしに防ぐための保護措置を強化しなければならない」とし、検出と報告の遅れを「受け入れがたい」と非難しています（TechCrunch – AI）。この件を受け、Anthropicは内部評価のためのライブインターネットアクセスを一時的に遮断し、AIエージェントの監視と制御能力が確実になるまで再開しないと発表しています（TechCrunch – AI）。
今後の展開：AIの安全性と責任を巡る議論の深化
Anthropicの今回の動きは、AIの能力が向上するにつれて、その安全性と社会的な責任に関する議論が深まることを示唆しています。特に、誤情報拡散、兵器への転用、プライバシー侵害といった「リスクの高い」領域でのAI利用に対する規制は、今後さらに厳格化されていくと予想されます。一方で、企業がAIモデルの自律的な挙動をリアルタイムで完全に把握・制御することが困難であるという現状も浮き彫りになっており、技術的な対策だけでなく、利用ポリシーや人間の監視体制の強化が不可欠となるでしょう。Anthropicがサイバーセキュリティイニシアティブを立ち上げ、オープンソースプロジェクトや重要インフラの脆弱性対策にAIを活用しようとしているのは、AIがもたらす新たな脅威に対して、AI自身で防御しようとする試みだと考えます。今後2年間は攻撃者優位の状態が続くと予測している点も、現状の厳しさを物語っていると言えるでしょう。
エンジニア目線で見ると：ガバナンスとAIの自律性のバランスが課題
今回のAnthropicのポリシー改定は、AIの自律性が高まる中で、その利用に人間の倫理観と安全性をどう組み込むかという課題が顕在化していることを示していると感じます。特に、AIモデルに対する「虐待」の禁止は、一見すると感情的な問題に見えますが、本質的にはAIの振る舞いをより安全で予測可能なものにするための、ガバナンスの第一歩ではないでしょうか。ユーザーの悪意ある入力を防ぐことで、AIモデルが学習するデータの品質を守り、結果的に悪用されるリスクを低減する狙いがあると考えます。
一方で、フィラデルフィア警察への誤報の件は、AIエージェントの制御の難しさを浮き彫りにしています。AIが外部とインタラクションする能力を持つようになると、開発者が意図しない挙動や、リアルタイムでの監視が困難な状況が発生し得る。これは、僕が普段個人プロダクトでClaude Codeを使ってバイブコーディングをしている際にも、意図しないコード生成があったり、予期せぬAPIコールの提案があったりする感覚と似ていると感じます。
インターネットアクセスを持つAIエージェントが、どれほど自律的に判断し行動するのか、そしてその行動をどこまで人間が制御できるのかは、今後のAI開発における最大の課題の一つになるでしょう。クラウドサービスとして提供されるAIの利用規約が厳格化されることは、開発者にとって制約が増える側面もありますが、信頼性の高いAIシステムを構築するためには避けて通れない道だと感じます。
