DX：開発フェーズから運用フェーズに生じるギャップの対応

AI工業化の課題

なぜPoCや、開発まで行っている会社に対して、その後の運用まで行っている会社が少ないのでしょうか。デロイト トーマツの調査/経験による２つの例から考察してみましょう。

例1.大手製薬会社の場合

ある大手製薬会社ではデータサイエンスの部門を持っており、既存の製品の販売に関して機械学習モデルを適用してその効果を確認していましたが、機械学習モデルの製造、運用プロセスを異なる製品へ拡張できませんでした。この原因としては、機械学習モデルを開発フェーズから本番化し、運用フェーズへ移行するにはその間に大きなギャップがあり、そのギャップを埋めるためのシステム化や本番運用する体制・人材が準備できない、ということが判明しました。

例2.ヘルスケア業界の複合組織の場合

この会社ではCOVID-19のパンデミックの状況で、これまでのデータが全くうまく機能しない故に、複数の機械学習モデルの正確性が急速に失われていることを確認しました。そこで彼らはデロイトの支援のもと、モデルの再構築のみならず、End-to-Endの機械学習モデルのライフサイクルをカバーできるプロセスも整備しました。さらに、堅牢なモデル運用のサポート体制作りにも力を入れました。

MLOpsとは

MLOpsとは、Machine Learning Operationsを略したAI利活用におけるキーワードです。DevOpsとは、環境/アプリケーションの開発～運用の流れを別々の担当者が行うのではなく、一貫して管理することができるようになるという概念です。

これを踏まえると、MLOpsとは、モデルの開発〜運用の流れを別々の担当者（データサイエンティストやインフラエンジニアなど）が担当することなく、一貫して運用管理ができることを指します。いわばDevOpsの機械学習(Machine Learning)版となっています。

ML-O2とは、クライアントのAWS環境でMLOpsをクイックに実現できるパッケージです。

ML-O2は機械学習モデルのトレーニング・パイプライン作成・モニタリング・デプロイ全てをテンプレート化したAWS環境へ展開できるMLOpsパッケージです。

AWSの知見がなくてもテンプレートを展開することで、展開後すぐにモデルの運用改善に取り組むことが可能であり、AWS環境があれば、すぐ展開が可能です。

メイン機能

1. 機械学習モデル作成

• モデルの内容に関係なく、AWSでモデルを運用するための基礎となるpythonのテンプレートを提供します。
• データサイエンティストが必要なタイミングで開発環境を起動し、クイックにモデル構築に必要なデータへアクセスして作業できる環境を提供します。

2. 機械学習モデルの本番化

• ビジネス側システムへモデルを提供するためのAPIをモデル別に簡単に作成可能です。

3. 機械学習モデルの性能モニタリング

• モデルの改善プロセスで、確実に前後比較ができるように利用データ、モデル本体を記録しトラッキング可能にします。
• ダッシュボードでビジネスメンバーも利用可能なモデルに関連する情報を提供します。

MLOpsをPoCフェーズから導入することで得られる効果1

AIモデルの精度の維持や改善が可能に

PoCの段階から自動化されたパイプラインを整備することで、本番環境適用後も品質を維持したまま、頻度高くトレーニングができるようになります。過去には、モデルをアップデートするまでに数日以上時間を要していましたが、数分で更新、数千台のサーバーに同時に再展開し、モデルの品質を一定に保つことに成功した事例もあります。

MLOpsをPoCフェーズから導入することで得られる効果2

運用工数が大幅に削減

品質を維持することが可能になる点以外に、検証フェーズから本番適用までの時間や、変更管理に要する時間を短縮できる点もメリットの一つです。上記で紹介した事例以外では、データからビジネスに対する洞察を得るまでの時間が４カ月から２週間になり、意思決定までのスピードが格段に向上した事例もあります。

MLOpsをPoCフェーズから導入することで得られる効果3

役割の異なるメンバー同士でのコミュニケーションが円滑に

データサイエンティスト、エンジニア、ビジネス担当者など、様々な役割の担当者が共通で閲覧できる仕組みを構築したり、専用のプラットフォームを利用したりすることで、コミュニケーションが生まれ、モデルの開発や改善、継続的な運用もスムーズに実現できるようになります。特に検証フェーズでは、アジャイル的にプロジェクトが進むことが多いため、共通のコミュニケーション基盤を作ることは、認識のズレや行き違いによる損失を減らす意味でも重要な役割を果たすでしょう。