thoughtbotのブログ記事「Respecting your users' dread of the clankers」では、AI技術に対するユーザーの感情が「熱狂的な支持」から「懐疑的な反発」まで幅広いことを指摘しています。AIを日常的に利用している開発者でさえ、環境負荷、データ誤用、訓練データに関する倫理問題、バイアス、ハルシネーション、説明責任の欠如、雇用の喪失といった懸念を抱いていると述べられています (出典)。

AI製品は、ユーザーがAIの使用を段階的に、かつ具体的に選択できる「Opt-in」モデルを採用すべきであると提言されています。

AIへの段階的な同意（Progressive Opt-in）の必要性

記事では、AIの好き嫌いに関わらず、すべてのユーザーに対応するための「段階的な同意」の考え方を強調しています。これは、AIの利用範囲や個人データの取り扱いについて、ユーザーに詳細なコントロールを委ねるというものです。具体的には、以下の3点が求められます (出典)。

  • データのAI利用方法の明示：ユーザーデータがAIによってどのように活用されるかを明確に示す。
  • ユーザーへのメリット提示：AIを利用することでユーザーが得られる具体的な利益を提示する。
  • 許可の付与：ユーザーが個別にAIの利用許可を与える仕組みを用意する。

これらの情報は、利用規約やプライバシーポリシーの中に埋もれさせるのではなく、文脈に応じてケースバイケースで判断できるような形で提示されるべきだと考えられます。

ユーザーは、サービス登録時に一括でAIの利用許可を与えるのではなく、必要になったその場で許可を求められる「ジャストインタイム同意」を望んでいます。これはモバイルアプリで位置情報共有やプッシュ通知の許可を求める「ソフトアスク」や「プレプロンプト」と同様の手法です (出典)。

例えば、アプリの起動直後にAIエージェントの利用を強制するのではなく、「このフォームで困っていませんか？AIエージェントがサポートしましょうか？」のように、ユーザーが困難に直面したタイミングでAIの有用性を示し、データの利用許可を求めることで、ユーザーは価値を理解した上で同意しやすくなります。

たとえ一度AIの利用に同意したとしても、それはユーザーに関するあらゆるデータ（個人識別情報、クレジットカード明細、健康情報など）の無制限な利用を許可したわけではありません。AIがより多くのデータにアクセスすることで精度が向上することは開発者にとっては魅力的ですが、ユーザーにとっては「価値を証明」されなければ、その価値を認めることはないでしょう。同意は包括的なものではなく、段階的に取得し、かつ後から撤回できるように設計すべきです。

AIエージェントに段階的な許可を求めさせる方法

AIエージェントがユーザーに許可を求める際には、文脈とプロンプトが鍵となります。記事では、以下のテクニックが紹介されています (出典)。

  • ツールの条件付き構築：ユーザーがアクセスを許可したデータに基づいて、エージェントが利用できるツールやスキルリストを条件付きで構築する。
  • LLMシステムプロンプトの活用：LLMのシステムプロンプトに、ユーザーが共有に同意したデータ項目と同意していないデータ項目をリスト化して含める。
  • エージェントに許可を求めさせる：エージェントが直接ユーザーに許可を求めるプロンプトを設計する。例えば、「このユーザーは（財務口座へのアクセスを許可している/許可していません）。アクセスが必要な場合は、設定画面で有効にするようユーザーに促してください」のように指示します。この際、ユーザーが「NO」と答える選択肢も明確に認識させる必要があります。

LLMが「現在アクセスできるデータ」「アクセスできる可能性のあるデータ」「そのデータをどう使えばユーザーに利益があるか」「ユーザーがどうすればアクセスを許可できるか」を理解していることが重要です。

エンジニア目線で見ると：同意管理は実装の腕の見せ所

今回の提案は、単なるUIデザインの課題ではなく、バックエンドやセキュリティ設計にも深く関わる話だと感じます。特に、個人プロダクトでLLM機能を組み込むことを考えている開発者にとっては、この「段階的同意」や「ジャストインタイム同意」の実装は非常に重要です。単一のチェックボックスで全権を与えるのではなく、APIスコープのようにデータの利用範囲を細かく定義し、ユーザーが個別に許可できるような仕組みは、GCPのIAM権限管理に近い感覚で構築できるのではないでしょうか。

Cloud FunctionsやCloud Runで動かすバックエンドとLLMの連携において、どのデータをどこまでLLMに渡すかを動的に制御するロジックは、セキュリティとUXの両面で実装の腕の見せ所になりそうです。特に、AIのハルシネーションや偏見といった問題も指摘されている中で、LLMがアクセスできる情報の範囲を限定することは、誤った情報を生成したり、不適切な利用をしたりするリスクを低減する上でも有効だと考えます。また、これらの同意管理のロジックを、Claude CodeのようなAIコーディングツールに投げて、初期実装の叩き台を作ってもらうのも効率的ではないでしょうか。