医療AI が患者データを「認識」してしまう仕組み

医療画像診断や心電図（ECG）判定、電子医療記録（EHR）の分類に使われる AI モデルは、自分たちが訓練時に見た患者データに対して、異常なほど高い確信度で応答する傾向があることがわかりました。

ドイツのミュンヘン工科大学の研究グループが、医療 AI データセット7つを対象に実施した分析では、「ほぼ完全な成功率（near-perfect attack success）」でメンバーシップ推論攻撃（MIA）を実行できたことが明かされています（出典）。

個々の患者レベルでの MIA 成功率が「ほぼ完全」に達するという事実は、従来の集計ベースの安全評価では見落とされてきた問題です。

この攻撃の本質は単純です。攻撃者が患者データの一部を AI に入力し、モデルの出力確信度（confidence score）を観察することで、そのデータが訓練セットに含まれていたかどうかを推測する—というものです。モデルが訓練時に見たデータに対しては「自信を持って」応答し、見たことのないデータに対しては曖昧な応答をする性質を悪用しています。

「少数派」の患者ほど特定されやすい現実

研究チームが指摘している問題は、さらに深刻です。

医療 AI の訓練データセットにおいて、マイノリティに属する患者グループほど簡単に特定される傾向が確認されました。具体的には以下のような属性が「目立つ患者」として扱われます：

  • 人種・民族
  • 保険加入状況
  • 性別
  • 医療画像撮影に使用されたプロトコル（装置・手法）
  • 特定の疾病ステータス

ミュンヘン工科大学でヘルスケア AI を研究するモーリッツ・クノレ氏は The Register への回答で、以下のように述べています：

訓練コホートがより限定的になればなるほど、MIA によるプライバシーリスクは深刻化します。ハンチントン病などの潜在的遺伝子疾患の保有者、抑うつ症状のある患者、特定の専門治療施設に通院した患者といった情報が、訓練データへの所属から露出するシナリオを想像できます（出典）。

さらに問題なのは、訓練データセットが大きいほど、患者レベルのリスクが増大する傾向も判明したことです。これまで「大規模データセット = より堅牢で安全」と考えられてきた常識が覆されようとしています。

攻撃に必要なのは「完全なデータ」ではない

一見すると「医療 AI に対する攻撃には、攻撃者が患者の完全な個人データを持っていないと成立しないのでは」と思うかもしれません。しかし、研究論文の結論は異なります。

クノレ氏の説明によると、攻撃者は以下の条件さえ満たせば MIA を実行できます：

  • 対象患者の部分的なデータ（partial access）のみで十分
  • 攻撃に使用するデータが「誰のものか」を知る必要さえない
  • 研究用に匿名化されたデータセットであっても、攻撃対象となるデータ自体は匿名化されていない場合、特定が可能

医療データは構造化されているため、たとえ限定的な情報（例：「60代、男性、2型糖尿病、特定の医療施設での検査記録」など）があれば、AI の応答パターンから個人を特定することが理論上可能なのです。

既存の「安全評価」が機能していない

研究チームが特に指摘しているのは、現在の AI 安全評価の標準プロトコルの不十分さです。

多くの医療 AI は「全体的な判定精度」「複数レコード全体での攻撃成功率」などの集計ベースの指標で評価されています。しかし MIA は「個々の患者」を狙う攻撃であり、集計ベースのテストでは検出できません。

評価項目 従来の手法 実際のリスク
評価対象 複数レコードの平均精度 個別患者の識別可能性
MIA 検査 考慮されない、または不十分 ほぼ完全な成功率で患者特定可能
対策の見落とし 一般的 高リスク患者グループを見逃す

研究論文では、医療 AI のプライバシー監査基準を抜本的に改める必要があると結論づけられています。

エンジニアが押さえるべきポイント

医療 AI システムの開発・運用に携わるエンジニアにとって、この論文が示唆するところは大きいです。

特に医療データを扱う分類器（discriminative model）を構築する際は、以下を検討する必要があります：

  • 訓練データセットの構成分析：マイノリティグループがどれほど含まれているか、特定患者が「目立つ」パターンがないか
  • 差分プライバシー（Differential Privacy）の導入：モデルの出力に意図的なノイズを加え、個別データの特定を困難にする技術
  • メンバーシップ推論攻撃への耐性テスト：リリース前の標準的な安全評価に組み込む
  • 訓練データの多様性確保：アンダーリプレゼンテーション（過少代表）グループを増やし、「目立つ」患者を減らす

医療 AI は高いビジネス価値を持ち、クラウド上で動作する場合が多いため、GCP・AWS・Azure などでホストされるケースも増えています。これらのプラットフォーム上で医療データを扱う場合、デフォルト設定だけでは不十分であることを認識すべきです。

AI生成コンテンツの「なりすまし」問題も深刻化

こうしたプライバシー漏洩の懸念と並行して、別の角度から AI 生成コンテンツ（特に無断複製）が問題化しています。

著者ジョアンナ・スターン氏が指摘しているように、彼女の著書『I Am Not a Robot: My Year Using AI to Do (Almost) Everything』のリリース直後、Apple Books 上に10以上の AI 生成ノックオフが現れたとのこと（出典）。

これは医療データの無断利用とは異なるものの、同じく「AI が生成・複製した情報の帰属性」をめぐる問題として、業界全体で整理が進む分野です。