第3回 AIシステムに対する内部監査

AIシステムと監査

AI（人工知能）と監査という二つのキーワードを聞いた時に、人によって思い描くことは様々です。どのようなAIを対象とするかという点については後述しますが、監査についても法令で定められた外部監査人による監査を指すのか、あるいは企業内部の内部監査人による内部監査を指すのかという点により考慮すべき事項が異なります。また、実際にビジネスで導入されているAIシステムに対して監査を実施するのか、あるいは既存の監査手続に対してAIを活用することで作業の効率化や新たな観点からの監査を試みるのかという点でも議論の内容は全く異なってきます。連載第3回の本記事では、企業内部の内部監査人の視点に立ち、実際にビジネスで導入されているAIシステムに対して内部監査を実施する際の考え方について整理していきます。

AI内部監査の企画

一口にAIシステムの内部監査と言っても、対象範囲は非常に多岐にわたるため、目的や予算（投入リソース）を考慮に入れながら、スコープや進め方を検討していく必要があります。今回はいわゆるテーマ監査を念頭に置き、柔軟に範囲や進め方を検討出来るという前提で内部監査を企画する際の思考プロセスを追っていくこととします。

内部監査の対象とするAIシステムの選定

規模の大小はあるものの、各企業において現在多数のAIシステムが導入されています。しかしながら、現実的にはその全てに対して内部監査を実施することは困難であり、優先順位をつけてスコープの絞込を行い、対象となるAIシステムを選定していくことが必要です。AIガバナンスを構築する際の考え方と同様に、定量面・定性面の双方を加味したリスクベースアプローチでの検討を行うことが重要ですが、その際の指針としては例えば以下のような項目が考えられます。

• 利用範囲：社内の一部に限定されている場合と比べて、広く外部顧客での利用がある場合にはリスク・優先度高
• 利用領域：生命や身体の安全、公平性や人権等に影響する領域での利用についてはリスク・優先度高
• 利用ユーザー数：ユーザー数が多いほど影響が大きく、リスク・優先度高
• 取扱情報：学習データや入力データに機密情報や個人情報等が含まれている場合にはリスク・優先度高
• 関連法規制：罰則を伴う規制と関係する領域や内容で利用されているAIシステムについてはリスク・優先度高
• サプライチェーンの複雑さ：自社のみで開発と利用が関係するものに比べて、サプライチェーン上に複数の企業が複雑に関連する程リスク・優先度高

ここで挙げた項目はあくまで一部ですが、実際にはこのように複数の項目を総合的に評価しつつ優先順位をつけ、対象のAIシステムを選定していくことになります。リスクが高いと考えられるものの執行部門側の対策がまだ行われていないようなAIシステムに目星をつけて内部監査の対象とすることで、今後執行部門が行うべき対策を事前に洗い出すという進め方も可能です。この場合には後述する内部監査の助言業務を優先する形となります。その他にも当初段階では複数候補を選定しておき、本記事の後続で説明するその他の要素も加味した上で最終的な候補選定を行う方法や、年度によって対象のAIシステムや監査項目をローテーションで変更していく方法も考えられます。

AIの種類、性質

本記事執筆時点（2024/12）では、AIシステムは大きく目的特化型のAIと生成AIの二つに大別されます。目的特化型のAIは特定の利用シーンを念頭におき、過去のデータを元に未知のデータに対する予測や、大量データの特徴を元にした分類などを行います。具体的なビジネスシーンでは、金融機関で与信判断の意思決定をサポートしたり、工場で製品異常の検知を行うようなAIがあります。生成AIは、ユーザーからの入力を元にテキストや画像等を生成する技術であり、ビジネスシーンでは幅広い範囲で利用されるチャットボットや資料作成のサポート業務等が想定されます。これらの2種類のAIではそれぞれ重視すべきリスクやユーザーの範囲が異なります。生成AIを対象とする場合には、利用者側の利用方法に起因するリスクも重視されます。そのため、内部監査の対象項目として、利用ユーザーの視点からもリスク低減状況を確認していく必要があるでしょう。生成AI出力物の利用に伴う著作権の侵害や、ユーザー入力を通じた機密情報の流出など、生成AIに特に関連するリスクを中心に監査を進めて行くことも考えられます。

AIシステムと内部統制

現在、または将来的に稼働予定のAIシステムそのものを直接対象とするのか、AIシステムを企画・開発・運用・利用する組織のプロセス、いわゆる内部統制を中心に監査を進めて行くのかについても大きく考え方が異なります。お客様向けの製品に組み込まれていたり、社内で大々的に使われているような特定のAIシステムが存在する場合は、そのAIシステムにフォーカスして性能テストやロジック検証、データの同質性評価等を進めて行くことも有益と考えられますが、監査を実施する担当者にも相当のAIや機械学習に関する知見が求められます。内部統制を中心とする場合には特定のAIシステムに限らず、幅広い範囲で各工程に関連する規程・手続類や実際の承認証跡等を確認していきます。こちらは一定程度の技術的な知見があれば実施可能ですが、単に形式上手続が定義されていたり押印が行われていれば問題なしとするのではなく、リスク低減のために実効性のある統制活動になっているかという観点でも確認が必要です。AIシステムを直接対象とする場合、関連する内部統制を対象とする場合の何れにおいても、稼働しているAIモデルのみを対象とするのか、それとも学習データやOS/DB等のインフラ層の管理、開発や運用を行うサードパーティまで含めるのか等も、スコープ検討の段階で決めていく必要があります。

立証命題

監査を実施する際には、監査手続を通じてどのような点を明らかにしたいのかを立証命題として設定する必要があります。これはつまり、どのような観点から監査を実施したり、どのようなリスクが低減された状態かを確認していきたいのかということで言い換えることが出来ます。一例として以下のような項目が実際の立証命題、監査テーマとして考えられます。

• 正確性（性能）
• 適正学習（データガバナンス）
• アカウンタビリティ
• 公平性（バイアス）
• 透明性（説明可能性）
• 安全性
• 制御可能性
• セキュリティ（堅牢性）
• プライバシー

例えば上記例からセキュリティをテーマにした場合、学習データに対する攻撃が防止・発見出来るかという点がAIシステムに特徴的な論点として挙げられますし、プライバシーをテーマにした場合には学習時の個人情報のマスク状況や、誤って学習した要配慮情報の削除可否等が論点として登場してきます。立証命題によっては実際の監査が困難なケースもあります。例えば公平性やバイアスをテーマにした場合、どのような状態が公平であるかは人によって解釈が異なります。そのため、公平性の定義の取扱についても監査計画の段階で検討しておく必要があります。

自社とAIシステムとの関わり方

自社がAIシステムにどのような立場で関わっているのかについても、重要な検討要素の一つとなります。日本のAI事業者ガイドライン(*1)においてはAI事業者をAI開発者、AI提供者、AI利用者の3つに大別していますが、それぞれの立場によって実施されている手続や内部統制は異なりますし、重視すべきリスクも異なります。自社全体の立場を意識しながら、重視すべきリスクや内部監査の対象範囲を決定していくことは勿論ですが、自社がAI提供者とAI利用者の双方に該当するケース等では、どちらの立場（もしくは両方）を対象に内部監査を実施するのかを考慮し、対象項目や被監査部署を選定していく必要があります。

保証業務と助言業務

内部監査の主な機能として、保証業務（Assurance）と助言業務（Consulting）が挙げられます。AIシステムに対して内部監査を行う場合でも、どちらの業務を優先するかによって、関与方針や関与のタイミングが異なってきます。特に、助言業務を優先する場合には、AIシステムやモデルの企画段階から開発プロジェクトに関与していくことで、業務・システム担当部署と伴走しながらAIガバナンスを高度化することが可能となります。

投入可能なリソース

他のテーマでの内部監査と同様に、AIシステムに対する内部監査においても、限られた期間と人的リソースで実施することになります。内部監査の実施担当者に対して、AIに関する高度な技術的知見が必ずしも求められるという訳ではありませんが、AIシステムや関連する規制動向等の基礎的な知識は必要です。加えて、AIシステムやモデルに対して性能テストを実施する場合には、相応の技術的知見が求められますし、生成AIに関連して著作権や商標権等の知的財産権をテーマに取り扱う場合には、それらの専門的な知見を保有している人材が必要となります。昨今の人材市場を鑑みると、監査に関する基礎的な知見に加えて、AIに関する知見、更にその他の専門的な知見を持つリソースを潤沢に確保することは困難です。現実的には、内部監査のテーマ設定に応じて、アウトソースやコソースといった形態で企業外部のリソースも活用しながらの内部監査実施が選択肢として挙がってくるでしょう。

関連するガイドライン等

AIシステムに対する内部監査の目的やスコープがある程度固まってきたところで、具体的なチェックポイントの整理や手続の検討に入っていきましょう。最終的には監査計画や監査手続は企業ごとに作成されることになりますが、本記事ではその際に参考となるガイドライン等のドキュメントを簡単に紹介します。

まず、AIシステムを内部監査するというテーマで直接的に参考にできるドキュメントとして、IIA（The Institute of Internal Auditors）が発行しているAI Auditing Framework(*2)が挙げられます。その他、金融機関であればFISC（金融情報システムセンター）の発行している金融機関等のシステム監査基準(*3)でもAIに係るシステム監査が取り上げられていますし、生成AIを対象とする場合には、外部監査人を対象としたものですが、CAQ（The Center for Audit Quality）が発行したAuditing in the Age of Generative AI(*4)も参考になります。その他、本記事では紹介しきれませんが、アカデミアから発表されているAI監査に関する学術論文もテーマによっては選択肢に入ってくるでしょう。

また、AIガバナンス構築向けのガイドラインを参考にして、その通りに自社ガバナンスが構築・リスク低減出来ているかという進め方で監査手続を検討することも出来ます。日本国内においては総務省・経済産業省が発行しているAI事業者ガイドライン(*1)が代表的なものとして挙げられるほか、海外では米国NIST（National Institute of Standards and Technology）が発行したAI Risk Management Framework(*5)も広範囲なリスクに対応可能なガイドラインとして参照できます。その他、欧州市場をターゲットにしている企業においてはEU AI Act(*6)の要求事項に沿ってセルフアセスメントを実施することも考えられます。これらの国内外の規制やガイドラインについては、本連載の後続の回にて改めてご紹介します。

以上、本連載第3回では、実際にビジネスで導入されているAIシステムを内部監査する際の考え方や参考となるガイドライン等について紹介しました。生成AIの爆発的な普及を受け、自社ビジネスで導入しているAIに対して内部監査に取り組む企業も徐々に増えてきています。これから内部監査に取り組まれていく方にとって少しでも参考となれば幸いです。今後の連載では、他の視点でのAIと監査というテーマや、その他のガバナンスに関するトピックについて紹介していきます。

デロイト トーマツではAIガバナンスに関して様々な知見を発信しております。AIガバナンスの策定・実行を支援するサービスも提供しておりますので、下記のページよりお気軽にお問い合わせください。

AIガバナンス – 生成AI時代に求められる信頼できるAIの実現の道筋

執筆者

佐藤 亮
有限責任監査法人トーマツ　シニアマネジャー
Deloitte Tohmatsu Institute フェロー

*1 総務省：AI事業者ガイドライン
https://www.soumu.go.jp/main_sosiki/kenkyu/ai_network/02ryutsu20_04000019.html

経済産業省：AI事業者ガイドライン
https://www.meti.go.jp/shingikai/mono_info_service/ai_shakai_jisso/20240419_report.html

*2 IIA（The Institute of Internal Auditors）：AI Auditing Framework
https://www.theiia.org/en/content/tools/professional/2023/the-iias-updated-ai-auditing-framework/

*3 FISC（金融情報システムセンター）：金融機関等のシステム監査基準
https://www.fisc.or.jp/publication/book/006458.php

*4 CAQ（The Center for Audit Quality）：Auditing in the Age of Generative AI
https://www.thecaq.org/auditing-in-the-age-of-generative-ai

*5 NIST（National Institute of Standards and Technology）：AI Risk Management Framework
https://www.nist.gov/itl/ai-risk-management-framework

*6 European Parliament：EU AI Act
https://www.europarl.europa.eu/topics/en/article/20230601STO93804/eu-ai-act-first-regulation-on-artificial-intelligence