確率的機械学習の基礎：なぜブラックボックスなモデルは望ましくないか

ベイズ機械学習と呼ばれていることからも分かるように、確率的機械学習はベイズ統計学に基づく機械学習体系で、頻度主義的な古典統計学に基づく既存の機械学習とは異なる設計思想をもっています。このように書くと頻度主義的な古典統計学とベイズ統計学とのどちらが正しい（優れている）のかという議論になりがちで、実際にそうした論争が過去に繰り広げられてきました。現代においてもそういった論争がないわけではありませんが、実務家の立場からすると積極的に論争に加わること自体にあまり意味を見出せないので、必要に応じてそれぞれの手法を使い分けるという実践的な立場を取ったほうが生産的かつ有益だと思われます。さらに言えば、古典統計学とベイズ統計学のいずれかの立場に与するのではなく、場合に応じて適切な手法をドライに選択できることが、現代の実務家に求められる素養といえるかもしれません。

いま手元に入力データと出力データがある状況を考えてみましょう。既存の機械学習は入力から出力を得るための真の関数を近似することに注力します。具体的には出力データとモデルから得られる出力との差が最も小さくなるように、特徴量エンジニアリングとモデル構造の決定、さらにパラメータの推定を通じて近似関数を選択します。このような手続きは「損失関数の最小化」と呼ばれます。近似精度を向上するために、アンサンブル学習や深層学習などの先端的な手法が用いられることも少なくありませんが、やっていることはあくまでも損失関数の最小化を通じた関数の近似です。以上の手続きを経て得られた真の関数の近似関数を用いると、新しい入力に対して、対応する出力データを決定論的に生成（点予測値を生成）することができます。この手続きは予測と呼ばれ、近似関数は予測モデルと呼ばれます。

それなりの性能（ヒトが経験や勘を頼りに行うものに比べれば）の予測を比較的手軽に行うことができることから、機械学習の手法は研究者だけでなく実務家の間で爆発的に普及しました。こうした機械学習による決定論的予測の有用性は疑いようもありませんが、他方で、こうした決定論的予測がすべてを解決できるほど現実の問題は単純なものばかりでもありません。

既存の機械学習の欠点の一つとして、モデルがブラックボックス構造をしている、つまりモデルが複雑すぎるまたは大量の数値を含むため、具体的な予測根拠が人間には理解できないという点が挙げられます。私たちが分かるのはその予測モデルが損失関数の最小化を通じて得られたものであるという事実、そして近年流行しているXAI（eXplainable AI：説明可能なAI）手法を通じて可視化される、各特徴量やデータが予測に及ぼしている影響の度合いだけです。もちろん、特徴量そのものや学習されたパターンの数理を理解することは可能ですし、それ自体は必ずしも難しくありません（もっともアンサンブル学習が使われていると、モデルの総合的な解釈は困難になります）。しかし、こうしたパターンの背後にある抽象的な法則や真の数理構造（これは先ほど、真の関数と呼んだものと同じです）がより重要で、それを発見・理解することこそが科学の本質であるという観点からすると、本質の探究が事実上不可能なブラックボックス構造であることはあまり好ましい性質ではないでしょう。

以上の論点は学術的で、実務家にとってはあまり重要なものでないように見えるかもしれません。しかし、実務において予測の理由・根拠を理解し、他者に説明することは予測精度と同等かそれ以上に重要であることが少なくありません。どれだけ過去の予測精度が高かったとしても、根拠なき予測を盲目的に信じられるほど人類は素朴ではないですし、その予測が生死を左右するのであればなおさらでしょう（理由も告げずにあなたは癌ですと宣言されたとして、それをすぐに信用するのは難しいです）。生死とまでは言わないまでも、根拠なき機械の予測に賭けて大きな損失を会社にもたらした社員がいたとして、この成果を称賛して二階級特進させるほど鷹揚な会社がこの世に存在するとも思えません。

相関関係を軽々しく因果関係と誤認するような、バイアスのかかった認知能力を兼ね備えていることからも明らかなように、人類は潜在的にあらゆる現象の背後に理由や根拠を求めており、理由や根拠を提示されることで初めて納得し、それらに基づく予測を信頼する傾向にあります（ヒトによる景気予測や株価の予測が、精度にかかわらず社会で重宝されている事実を思い出してみましょう）。

理由や根拠は人類の納得を得る手段であると同時に、問題を本質的に解決する手段としても重要であることが少なくありません。典型的な分野としてヘルスケア領域を考えてみましょう。その人がどの病気を発症するかを予測することはもちろん大事なことですが、一歩進んでなぜ発症するかまで理解することができるのであれば、そうした知的探求は治療法の開発に繋がる可能性が高いはずです。

また、理由や根拠は、その予測モデルが適切に運用可能なモデルなのか、それとも過学習によって得られた、本当は使うべきでないモデルなのか、に関する判断基準を与えてくれます。さらに、運用中にドリフト、いわゆるモデルの精度劣化が生じたとき、どのようにモデルのメンテナンスを行えばよいか、についても有益な示唆を与えてくれる可能性があります。逆に考えると、ブラックボックスモデルを使っていた場合、過学習のリスクと闘いながらモデルを運用し、ドリフトが生じるたびに闇雲にモデルの改善を繰り返すことになりかねないです。

以上の議論は、実務における透明性の高いAIソリューションの必要性に関する議論と整合的です。どのようなサービス契約であっても、AIがどのように意思決定に至ったかを説明する義務がサービスプロバイダー側には存在しており、AIが正しい予測をするかどうかは顧客の関心事の一つでしかありません。とくに、この傾向はコア事業や生死を左右するようなシリアスな領域における機械学習の実装といったフェーズで顕著に見られるでしょう。そして既存の機械学習とXAI技術の組み合わせで、こうした予測根拠の問題を解決するのは、そのブラックボックス構造ゆえに容易なことではありません（これは機械学習の技術的な制約というより、ヒトが機械の言っていることを厳密に理解できないという意味で、人類の認知能力の制約に起因するところも少なくありません。その意味で、人智を超越した機械学習は社会実装されない可能性が高いでしょう）。XAI技術は有望な技術群ではあるものの、モデルそのものの説明ではない[1]ので、人類の納得感を得るという観点からはやや力不足感が否めません。

ブラックボックスモデルによる予測とXAIによる説明との組み合わせが人間の納得感を得られないのであれば、仮に精度が多少犠牲になったとしても、人間が解釈可能なホワイトボックスモデルを使って予測を行ったほうが社会実装は早いかもしれません。確率的機械学習のモデリングはまさにこうした方針で分析を行うものです。具体的に、機械学習が損失関数の最小化を通じて機械がデータにフィットするモデルを作るのに対し、確率的機械学習ではヒトが解釈可能なモデルを設計します。このように書くとヒトの経験や勘に基づく意思決定の時代に退行している印象を受けかねませんが、ここで設計されたモデルの妥当性はデータを用いて定量的に検証されるため、そうした懸念は不要です。経験や勘ではなく、データの背後に隠された法則や構造を数理的に記述するのが確率的機械学習のモデリングであり、ここで求められるのは法則や構造に対する本質的な理解です。そして、本質的な理解を通じて得られたモデルは人間の認知と整合的であるがゆえ、その予測は信頼されることになります。このようにして獲得された信頼性は、既存の機械学習の予測がどれだけ高精度になったとしても、また近似過程でどれだけ人類の脳機能を模倣したとしても、ブラックボックス構造である限り獲得できない可能性が高い性質です。人の信頼や納得感を得るのに重要なのは解釈可能なホワイトボックスなモデルであり、さらに言えば、その背後にある現象への本質的な理解なのです。

脚注[1] Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead | Nature Machine Intelligence

【執筆者】

デロイト トーマツ コンサルティング　スペシャリストシニア
山名　一史

デロイト トーマツでは先端技術領域のプロジェクトに従事している。主な専門領域はマクロ経済学、ファイナンス、機械学習、AI、暗号経済学（ブロックチェーン、web3、デジタル資産、メタバース/デジタルツイン等の先端技術を採用したインセンティブ設計、マネタイゼーション、ガバナンスデザイン）。経済学博士。