医療AIを安全に使うには？医師・病院向けAIガバナンスと生成AI利用ルール

OpenEvidence日本担当として、医療AIとエビデンスベースAIの情報を発信している前田です。

医療AIや生成AIは、医療現場の業務を大きく効率化する可能性があります。

例えば、医学文献の検索、診療情報の整理、紹介状・退院サマリーの作成、患者説明文の下書き、院内マニュアルの検索などです。これまで時間がかかっていた作業を、AIが補助してくれる場面は増えています。

しかし、医療AIは「便利だから使う」で済むツールではありません。

医療機関が扱う情報には、患者の病歴、診断名、検査値、処方内容、画像データなど、極めて機微な情報が含まれます。

使い方を誤ると、個人情報保護法上の問題、医療安全上のトラブル、薬機法上の不適切利用、サイバーセキュリティ事故につながる可能性があります。

そのため、医療AIを安全に使うには、個々の医師や職員の注意だけでは不十分です。

病院・診療所として、AIをどう使うかを管理する「AIガバナンス」が必要になります。

本記事では、医師や医療機関が医療AIを安全に使うために押さえるべき、個人情報保護、セキュリティ、SaMD・PMDA、院内ルールの作り方をわかりやすく解説します。

なお、医療AI全体の基本や活用領域から整理したい方は、医療AIとは？活用領域と全体像の解説記事もあわせてご覧ください。

医療現場でAIガバナンスが必要な理由

医療AIは「便利そう」で導入すると危険です

結論として、医療AIは便利ですが、導入前にルール作りが必要です。

なぜなら、医療AIは患者情報や診療判断に関わる可能性があるからです。単なる業務効率化ツールではなく、医療安全や個人情報保護にも直結します。

例えば、画像診断支援AI、カルテ要約AI、医学論文検索AI、院内文書検索AIなどを導入する場合、院内で安全性を確認する仕組みがないと、ツールの不具合、誤出力、患者情報の外部送信、未承認利用などが見過ごされる可能性があります。

その結果、万が一の医療事故や情報漏洩が発生したときに、「現場の医師が勝手に使った」という説明だけでは、医療機関として十分な管理をしていたとは言いにくくなります。

つまり、AIを個人の便利ツールとして放置せず、医療安全管理、情報セキュリティ、個人情報保護、薬事対応の一部として正式に位置づけることが重要です。

米国では、AI検索、AI Scribe、電子カルテ統合、患者対応などで生成AIの実務利用が広がる一方、患者情報、透明性、医師責任、AIガバナンスが重要な論点になっています。海外の導入動向を知りたい方は、米国医師の生成AI活用最新動向も参考になります。

ガイドラインを無視すると、病院経営にも影響する

AIの不適切な利用は、患者の安全だけでなく、病院の信用や経営にも影響します。

例えば、患者情報を未承認の外部AIサービスへ入力した場合、個人情報保護法上の第三者提供、安全管理措置、委託先管理、国外移転などの観点で問題となる可能性があります。

また、AIの出力を十分に確認せず、診断や治療方針に反映した場合、医療過誤や説明義務違反の問題に発展するおそれもあります。

さらに、医療機関で情報漏洩やサイバー攻撃が起きると、行政対応、患者からの損害賠償請求、報道による信頼低下、地域医療への影響など、単なるITトラブルでは済まない問題になります。

たとえ悪意がなくても、現場の職員が「便利だから」という理由で無料のAIチャットツールにカルテ情報を貼り付ければ、医療機関としての管理体制が問われます。

病院経営を守るためにも、AIの導入は「便利そうだから使う」のではなく、ガイドライン、契約条件、セキュリティ基準、院内ルールを確認したうえで進める必要があります。

個人情報保護とセキュリティの基本

電子カルテの内容をAIに入れてよいのか

結論として、適切な契約、本人同意、安全管理措置がないまま、電子カルテ上の患者情報を一般的な生成AIに入力することは原則として避けるべきです。

理由はシンプルです。病歴や診療録に含まれる情報は、個人情報保護法上の「要配慮個人情報」に該当することが多いからです。

個人情報保護委員会も、病歴、健康診断の結果、診療・調剤が行われた事実などを要配慮個人情報の例として示しています。医療情報の基本的な考え方は、個人情報保護委員会の「要配慮個人情報に関するFAQ」も確認しておくとよいでしょう。

クラウドAIに患者情報を入力する行為は、サービスの仕様や契約内容によっては、外部事業者へのデータ提供や委託に該当する可能性があります。

特に注意すべきなのは、氏名や患者IDだけではありません。詳細な生年月日、住所、希少疾患、職業、家族構成、診療経過なども、組み合わせによって個人を特定できる可能性があります。

例えば、退院サマリーの要約や紹介状の下書きを作るために、患者の氏名、ID、診断名、既往歴、入院経過、検査値を含むカルテテキストを、無料版の生成AIサービスにそのまま貼り付ける行為は、個人情報保護法上の安全管理措置や第三者提供の観点から問題となる可能性があります。

AIを使う場合は、少なくとも以下を確認しましょう。

患者情報の取り扱いルールを明文化することは、医療AIガバナンスの最優先事項です。具体的なマスキング方法や違反リスクについては、個別記事「個人情報保護：電子カルテ情報をAIに入力するリスクとマスキング（作成中）」で詳しく解説します。

再学習されない設定を確認する

医療機関がAIツールを導入する場合、入力データがAIの再学習に利用されないかを必ず確認する必要があります。

生成AIサービスでは、入力されたプロンプトや添付データが、サービス改善、品質評価、モデル学習などに利用される可能性があります。

契約で学習利用を制限できる場合があります。一方で、データ利用条件を個別に確認しなければなりません。

以下が確認するべきポイントと内容です。

ツールを選ぶ際に、「有名なAIかどうか」ではなく、「医療情報を扱う前提で、データ利用・保存・再学習・監査の条件が明確か」を確認しましょう。

3省2ガイドラインを踏まえて安全管理を行う

医療機関がAIやクラウドサービスを導入する際は、「3省2ガイドライン」を踏まえ、情報セキュリティ体制全体を点検する必要があります。

特に医療情報システムを扱う場合は、厚生労働省の「医療情報システムの安全管理に関するガイドライン 第6.0版」を確認しておくことが重要です。

医療情報システムでは、情報の機密性、完全性、可用性を高い水準で守ることが求められます。

AIサービスが電子カルテ、画像データ、検査情報、院内ネットワークと連携する場合、単なるアプリ導入ではなく、医療情報システム全体の安全管理として扱う必要があります。

特に確認すべき項目は、以下の通りです。

クラウド型のAIサービスを使う場合、ベンダーがセキュリティ対策をしていても、医療機関側の責任がなくなるわけではありません。

誰がアクセス権限を管理するのか。障害時に誰が復旧対応をするのか。ログはどこまで保存されるのか。患者情報の削除依頼にはどう対応するのか。

こうした点を契約書やSLA（Service Level Agreement）で明確にしておく必要があります。

医療AIのセキュリティ対策は、AIツール単体の問題ではありません。

電子カルテ、クラウド、ネットワーク、認証、バックアップ、BCPを含めた医療情報システム全体の安全管理として設計しましょう。

クラウドAIは責任分界を決めてから使う

クラウド型AIや外部ベンダーのAIサービスを使う場合は、医療機関とベンダーの責任分界を契約で明確にする必要があります。

AIサービスを外部委託しても、患者情報を取り扱う医療機関としての安全管理責任が消えるわけではありません。

医療機関は、委託先が適切な安全管理措置を講じているかを確認し、必要に応じて監督する立場にあります。

契約時には、少なくとも以下を確認しましょう。

AI導入時の契約確認は、法務部門や情報システム部門だけに任せるものではありません。医療安全管理部門、個人情報保護管理者、現場責任者も含めて確認することが重要です。

医療機関が医療AIを使う前に確認すべき法規制

生成AIを医療現場で使うときの基本ルール

医療機関が生成AIを臨床や事務作業に使う場合は、医療・ヘルスケア分野の生成AI関連ガイドラインやAI事業者ガイドラインを踏まえ、利用範囲を決める必要があります。

生成AIには、医療現場ならではのリスクがあります。

特に、診断、治療、服薬指導、患者説明に関わる場面では、AIの出力をそのまま使うのは危険です。

例えば、医学論文検索AIが提示した回答に、存在しない論文や誤った引用が含まれる場合があります。

また、薬剤情報や治療選択肢について、海外ガイドラインをもとにした情報が、日本の添付文書や保険適用と一致しないこともあります。

そのため、医師はAIの回答を鵜呑みにせず、一次情報、診療ガイドライン、添付文書、国内制度と照合する必要があります。

AIの回答を使う前に、根拠文献、対象患者、研究デザイン、国内ガイドラインとの整合性を確認することが重要です。医学文献やガイドラインに基づいてAIを使う考え方は、エビデンスベースAIとは？医療AIで根拠を確認する考え方で整理しています。

生成AIは、医師の判断を置き換えるものではありません。

情報収集や文書作成を補助するツールとして使うのが基本です。

診断・治療に関わるAIはSaMDに該当する可能性がある

医療AIを導入する際は、そのAIが薬機法上の「医療機器プログラム（SaMD）」に該当するかを確認する必要があります。

AIソフトウェアが、疾病の診断、治療、予防に関与し、不具合が患者の生命・健康に影響を与える可能性がある場合、医療機器プログラムとして規制対象になることがあります。

規制対象となる場合、PMDAによる承認・認証、品質管理、使用目的の遵守などが重要になります。

PMDAは、医療機器プログラム（SaMD）の審査における評価の考え方を公開しています。診断・治療に関わるAIを導入・開発する場合は、PMDAの「医療機器プログラム（SaMD）の審査ポイント」も確認しておくとよいでしょう。

例えば、以下のようなAIはSaMDに該当する可能性があります。

一方で、カルテ文書の下書き、紹介状の要約、院内マニュアル検索、議事録作成など、診断・治療判断に直接関与しない用途は、Non-SaMDとして整理される場合があります。

ただし、同じ生成AIであっても、使い方によってリスクは変わります。

単なる文章要約に使うのか、診断候補の提示に使うのか、患者への説明文をそのまま出力するのかで、医療安全上の評価は大きく異なります。

医療AIの導入時には、ベンダーの説明だけに依存せず、PMDA承認・認証の有無、使用目的、適応範囲、禁忌、想定ユーザー、出力結果の位置づけを確認しましょう。

海外発AIは日本の診療環境とズレることがある

医療従事者が、海外発の医療AI、医学文献検索AI、汎用性の高い生成AIを使う場合は、提示された回答とエビデンスが日本の診療環境に合っているかを確認した上で、医療上の判断を行う必要があります。

海外の医療AIは、米国FDA承認情報や欧米の診療ガイドライン、英語圏の医学論文を中心に回答を生成する場合があります。

そのため、日本のPMDAで未承認の薬剤、日本では適応外の治療法、保険診療上認められていない検査や処方を、標準的な選択肢のように提示する可能性があります。

AIの回答をそのまま診療に反映すると、査定・減点の対象となるだけでなく、患者説明や医療安全上の問題にもつながります。

米国では医師向けAI検索やAI Scribe、EHR統合型AIの導入が進んでいますが、日本で参考にする場合は、国内の薬事承認、保険適用、個人情報保護、院内ルールとの違いを確認する必要があります。米国での具体的な動向は、米国医師の生成AI活用最新動向で詳しく整理しています。

AIで世界のエビデンスを効率的に把握した後は、必ず国内の診療ガイドライン、添付文書、PMDA情報、保険適用、院内ルールと照合しましょう。このギャップへの具体的な対策は「海外発医療AIのリスク：日本の診療環境・ガイドラインとのギャップ（作成中）」にまとめています。

病院・医局内でAIを安全に使う方法

施設内でのAI利用ルールを作る

医療機関の管理職や経営層は、個々の医師や職員のモラルに依存するのではなく、組織として統一された「施設内AI利用規程」を作ることが重要です。

現場で未承認ツールが使われる「シャドーAI」を放置すると、患者情報の外部送信、診療判断への不適切利用、著作権侵害、セキュリティ管理外のデータ保存などが発生しやすくなります。

施設内AI利用規程では、少なくとも次の項目を決めておきましょう。

ルールを作る目的は、AI利用を縛ることだけではありません。

現場の医師や職員が安心してAIを使える環境を作ることです。

一方で、AI利用ルールを作る際には、現場の医師が実際にどのような場面で生成AIを使いたいのかを把握することも重要です。日常診療での具体的な活用例は、多忙な医師向け生成AI活用術で紹介しています。

AIは助手。最終判断は医師が行う

医療AIを使った場合でも、診断・治療方針の最終判断を行うのは医師です。

AIの出力は、あくまで医師の判断を補助する情報です。

AIが誤った回答をしたからといって、医師が当然に免責されるわけではありません。

医師は、患者の症状、身体所見、検査結果、既往歴、ガイドライン、添付文書、施設内ルールを踏まえ、AIの出力を検証したうえで判断する必要があります。

医師が確認せずに処方し、患者に健康被害が生じた場合、「AIがそう回答したから」という説明だけで責任を回避できるとは限りません。

医療AIガバナンスの根本は、「AIに判断を委ねない」ことです。

AIは情報収集や整理を速くする補助ツールとして使い、最終的な臨床判断は医師が一次情報と患者個別の状況に基づいて行う必要があります。

AIを医師の判断補助として使う場合は、AIの出力を結論として受け取るのではなく、根拠文献やガイドラインに戻って確認する姿勢が欠かせません。根拠を確認しながらAIを使う方法は、エビデンスベースAIとは？医療AIで根拠を確認する考え方もあわせて確認してください。

ルールは作って終わりにしない

AI利用ルールは、作って終わりではありません。職員研修、ログ監査、定期的な見直しまで含めて運用する必要があります。

生成AIのサービス仕様、学習利用の条件、国内外の規制、医療機器プログラムの審査制度、サイバー攻撃の手法は常に変化します。

導入時に安全だった運用が、1年後も安全とは限りません。

院内研修では、次のテーマを継続的に扱うと効果的です。

また、管理者はAIの利用ログや入力内容を定期的に確認し、患者情報の入力、未承認ツールの利用、診療判断への過度な依存がないかを監査する必要があります。

AIガバナンスは、「規程」「研修」「技術的制御」「監査」「改善」のサイクルで運用してこそ機能します。

まとめ：安全な医療AIにはガバナンスが重要

医療AIは、正しく使うことで、医師や医療スタッフの業務負担を減らし、情報収集や文書作成の効率を大きく高める可能性があります。

一方で、患者情報、診断、治療、薬事、保険制度、セキュリティが関わるため、一般業務向けAIよりも慎重な運用が求められます。

本記事の重要ポイントをまとめます。

AIを一律に禁止するだけでは、医療現場の生産性向上や情報活用の機会を逃してしまいます。

大切なのは、リスクを正しく理解したうえで、組織として安全なレールを敷くことです。

患者情報を守り、医療安全を確保し、医師の最終判断を支える仕組みを整えることで、多忙な医療現場の効率化と医療の質向上を両立できます。

医療AIガバナンスを理解するうえでは、まず医療AIそのものの全体像を押さえておくことも大切です。

医療AI全体の基本や活用領域から整理したい方は、医療AIとは？活用領域と全体像の解説記事もあわせてご覧ください。