データサイエンティストがAIと協調することでチームリーダーとしての役割を果たすDX改革

1. はじめに

アフターコロナにおけるビジネス環境や顧客接点のオンライン化など、企業をとりまく事業環境が従来以上にめまぐるしく移りゆく中、求められているのは変化へ俊敏に対応可能とする組織やシステムの変革です。特に情報システムにおいては今後、従来のルールベースではなく、現実の変化を継続的にデータで捉え、柔軟かつ最適な意思決定や業務最適化を実現する機械学習システムを活用するケースが増加することが見込まれます。しかし、機械学習システムの開発は、通常の「IT」システムの開発と異なります。なぜなら、機械学習モデルはデータに対する依存性が求められるため、データの変化がモデル自体の変化をもたらし、ソフトウェアのロジックとデータの分離を困難にするからです。さらに、機械学習モデルの特性上、ディープラーニングなど複雑なアルゴリズムにおいては作成したモデルが出力した結果について明示的な根拠を示すことができません。今、企業に求められているのは、データに基づき迅速かつ適切な判断のもとビジネスを進めるため、変化への俊敏な対応可能とし、信頼性が担保された機械学習システムに基づく業務自動化や最適化です。そのため、品質保証の観点から運用時の性能を監視、モデルを再作成するプロセスを明確化し、機械学習モデルを利用者に向けてスムーズにデプロイする一連の機構の重要性から MLOps；Machine Learning Operations が指摘されています。

2. クライアントの課題

ある企業（以下、クライアント）では、機械学習の開発に伴うデータの準備やモデル作成において、ある程度プロジェクト経験を積んでいました。しかし、問題として明らかになったのは、デプロイした後の流れ、他のシステムとの連携や継続的な予測データの導入、効果検証といったビジネスサイドへの適用でした。具体的には、効果検証は個々のデータサイエンティストによる属人的な経験に依存していたため、KPIなどのビジネス指標の低下がモデルの精度劣化があった場合に、都度原因を個別スクリプトにて探索・可視化することで究明し、報告書にまとめる作業を定期的に繰り返し実施していました。そのため、データサイエンティストには同検証作業と報告書作成に多大な負荷が掛かっており、本来やるべき新規の機械学習モデルの企画構想まで手が回らない状態が続いていました。ゆえに、本来の分析作業時間の確保と同一の品質を担保するためには、モデルの精度を監視し精度劣化の原因特定を自動化するMLOpsツールが必要でした。

エンタープライズ向けのMLOps製品を導入すれば機械学習モデルのデプロイ^※１が簡略化され、ビジネスアプリケーション向けのサービスを中断することなく、本稼働環境でモデルのテストおよび更新を行うことができ、さらには、機械学習の監視モニタリングを通してコンセプトドリフト^※2等などの検知を行えます。しかし、Deloitte Analyticsは、クライアントとディスカッションを通して、MLOpsには、ただ単に既存製品を導入するよりも組織の成熟度に合わせた「段階」に寄り添う必要性があることを明らかにしました。例えば、機械学習活用における組織の成熟度が初期の段階では、データサイエンティストや機械学習に強いIT人材が不足しているため、エンタープライズ向けのMLOps製品を導入し経験不足を補いながら少人数でも運用可能にしていく体制を構築していく必要性が考えられます。しかし、本プロジェクトのようにデータサイエンティストや機械学習に強いIT人材が充足しており、既に多数の機械学習システムを運用するほどプロセスや環境が整備されている段階にある組織においては、利用者の業務に影響を与えないようにするため、現行の運用環境やプロセスにフィットするMLOpsツールが必要でした。

Deloitte Analyticsは、クライアントの機械学習に係る運用を整理した後、組織の成熟度に応じて最初に取り組むべきMLOps業務、すなわちデータサイエンティストが機械学習モデルを「運用監視」する組織のあり方について提言しました。そして、データサイエンティストが単なる作業者を超えてAIと協調した「チームリーダー」としての役割を果たすべきことを論じました。

3. 提供したソリューション

クライアントの課題を解決するMLOpsツールを開発するにあたり、精度劣化の原因を特定するためのフレームワークを構築しました。機械学習モデルの精度が劣化する原因は、①適切な再学習が行われていないために予測モデルが実態とずれる、②特殊な学習データに全体が引っ張られて予測モデルが劣化する、の２パターンに大別できます。精度劣化の原因がどちらのパターンに属しているか判断するため、予測値や特徴量の分布の変化や、予測値に影響を与える特徴量の重要度に関する指標を効率的に収集するツールを、Deloitte Analyticsは構築しました。

収集した指標のうち予測値や特徴量の分布の変化が見られた場合は、精度劣化の原因が①と考えられますが、原因が②の場合はどの特徴量による原因か特定する必要があります。しかし、数百から多いものでは数千以上存在する特徴量の中から、劣化原因となる特徴量を特定するのはデータサイエンティストの経験や勘だけでは困難を伴います。そのため、Deloitte Analyticsが開発したツールは、分布の変化が大きいかつ重要度の高い特徴量から順に優先的に調査できるよう可視化し、劣化原因となる特徴量の特定を迅速に行えるようにしました。

4. 成果

• 組織の成熟度や現行の運用環境やプロセスにフィットさせつつデータサイエンティストが運用で最も時間を要していた機械学習モデル監視業務を効率化するMLOpsツールを開発
• 可搬性を高めたプラットフォーム依存しない環境であれば、ソースを配備して実行することができ、(ア) 内部ロジックは全てソースを追って理解することができるため透明性が高い、(イ) 新しいモデル検証手法を柔軟に取り入れることができる拡張性が高い機械学習モデル運用管理および更新を管理するツールを構築
• データサイエンティスト一人当たりの時間的負担が大幅に短縮することに成功
  

5. まとめ

未成熟な市場が少なく大幅な人口増が見込めない近年においては、既存顧客を大切に扱い密な関係を維持してLTV（顧客生涯価値、Life Time Value）^※3を最大化するマーケティング手法が主流になりつつあります。LTVを最大化する手段の一つとして、クロスセル・アップセル^※4が重要視されるようになってきており、顧客理解を深めた上で密なコミュニケーションを行うべく、デジタル技術を活用してデータ分析から顧客にとって適切なタイミングでコミュニケーションすることへの重要性が高まっています。デジタルトランスフォーメーション（DX）で「顧客価値の向上」を推進する企業が増える中、戦略の実行にデジタルイノベーションを積極的に活用しています。高齢化という日本特有の社会課題や、世界課題であるコロナ禍におけるニューノーマルへの対応など、時代とともに多様化・パーソナライズ化する顧客のニーズに幅広く応えるためには、ライフステージに合わせた商品・サービスの創造が必要ですが、創造した商品・サービスを顧客へ届けるための新たなマーケティングモデルの追及や販売体制の支援による販売代理店の強化も重要となります。しかし、機械学習をはじめとするテクノロジーやアルゴリズムの発展とともに進化を遂げている中で、この先データとAIを徹底活用していくこと「だけ」を考えるのであれば、それだけではまだ足りないのです。AIと人間が協調し、チームを組む中でAIが品質を担保するためにデータサイエンティストがチームリーダーとなってAIを「監督」する組織、すなわちMLOpsの一つの側面である重要性が本プロジェクトで明らかになりました。しかし、物流と製造のアウトソーシングの集約が進み、条件が均一化されつつある現在、もはや過去10年間とは異なり業務効率だけでは差別化要因になりえないと筆者らは考えています。消費者に共感して感情的なつながりを喚起する能力があるかどうかが、デジタル化が進むほどに、決定的な競争優位性のひとつになると考えています。

※1 デプロイ：
ソフトウェア開発の工程のうち、開発した機能やサービスを利用できる状態にする作業。

※2 コンセプトドリフト：
機械学習モデルが予測しようとしている目的変数の統計学的特性が、時間の経過とともに予期せぬかたちで変化してしまう現象。モデルはそれが使われた始めた時に予測精度が最高となり、予測精度が時間の経過とともに劣化する。

※3 LTV（顧客生涯価値、Life Time Value）：
一人、あるいは一社の顧客が、特定の企業やブランドと取引を始めてから終わりまでの期間（顧客ライフサイクル）内にどれだけの利益をもたらすのかを算出したもの。

※4 クロスセル・アップセル：
クロスセルとは、購入が決まった商品以外のものを合わせて購入するよう促す販売手法で、関連商品を購入させること。アップセルとは、お客様により高い上位商品の購入や、同一商品を複数個購入するよう商品設計すること。両者ともに、顧客1人当たりの購入単価を上げることが目的となる

執筆者プロフィール

毛利　研 （もうり　けん）
有限責任監査法人トーマツ　デロイトアナリティクス
マネジャー

国内トップシェアの事業サービス企業にて、機械学習および自然言語処理に関する研究開発を経て現職。人工知能関連の実装能力、業務経験が豊富だけでなく、Bitcoin/Blockchainを含む最新技術に関する調査・戦略立案・投資実行の経験も有する。大手メーカー時代は、防衛事業関連部署にて各種解析サービスを提供する情報システムの開発や事業戦略立案に従事。米国拠点にて、国防省・諜報機関における先端技術動向調査と事業戦略立案なども経験を有する。