”リアルタイム型”データ処理がもたらす価値と実現における勘所

1．データ処理システムに求められる変革と背景

 IoT（Internet of Things：モノのインターネット）時代の到来やセキュリティ犯罪の高度化・多様化、情報技術の革新を背景として、データ処理システムに求められる価値は大きく変わろうとしている。
従来はインターネットに接続されるのはパソコンやサーバー等のIT関連機器が中心であったが、昨今、商品・機械・設備等の世の中に存在する様々な”モノ”がつながるようになってきた。さらにインターネットにつながった”モノ”は埋め込まれたセンサーを通じて相互に通信を行ったり、モノ自体を制御したりできるようになりつつある。これがいわゆる”IoT時代”の到来である。インターネットにつながる”モノ”からは刻々とデータが発信され、インターネットにつながる”モノ”の数はシスコシステムズ合同会社によると2013年時点の100億近くから2020年までには500億に上り、インターネットは、人、プロセス、データ、モノを組み合わせたIoE（Internet of Everything）時代へと大きく成長すると考えられている。（出展：「シスコ、Internet of Everything（IoE）に関するホワイトペーパーを発表」　http://www.cisco.com/web/JP/news/pr/2013/022.htmlより作成） 外部サイトへ遷移します。

従来から行われてきたデータ処理の方式はいわゆる”ストック型”のデータ処理であった。”ストック型”のデータ処理とは、発生したデータを順次データベースに蓄積し続け、一定時間が経過した後にまとめて処理を行って「過去」のデータから分析結果を抽出する方式である。しかし、IoT時代の到来により、「今」のデータから分析結果を抽出することに大きな価値が生まれた。なぜなら、インターネットにつながった様々な”モノ”から発信される情報を即処理することで”モノ”の「今」の状態を把握することができ、企業にとってのビジネスチャンス獲得や脅威の抑止、顧客のニーズに合致した情報提供等のアクションに結びつけることができるためである。データが発生したタイミングでそのデータを逐次処理し、分析結果を抽出する、いわゆる”リアルタイム型”のデータ処理への変革が求められるのである。
また、昨今のセキュリティ犯罪の高度化・多様化も”ストック型”のデータ処理から”リアルタイム型”のデータ処理への変革を後押しする。企業や公的機関へのサイバー攻撃や内部不正による機密情報の漏えい、個人情報の流出などの脅威は昨今、大きな社会問題となっている。サイバー攻撃の手口は益々巧妙かつ高度となっており、今後IoT時代の進展でセキュリティ的に脆弱性のある”モノ”が多数インターネット上に存在する状態が訪れると、益々、手口の高度化・多様化の速度は速まるだろう。こうした脅威に対して各企業や公的機関で対策意識が高まっており、”リアルタイム型”のデータ処理により情報システムの「今」の状態を把握することが求められている。
最後に忘れてはいけないのが、IoT時代も見据えた大量データに対する”リアルタイム型”の処理を実現する情報技術の革新である。分散処理技術の発達やネットワーク通信の高速化、センサデバイスの低価格化・小型化等の昨今の技術革新により、”リアルタイム型”のデータ処理の実現性も高まっている。
IoT時代の到来、セキュリティ犯罪の高度化・多様化、情報技術の革新といった時代背景が”ストック型”のデータ処理から”リアルタイム型”のデータ処理への変革を後押しする。

2. “リアルタイム型”のデータ処理が価値を生むケースとは？

“リアルタイム型”のデータ処理はビジネス上、即時の情報提供が求められるシーンにこそ大きな価値を生む。企業や公的機関のニーズが主体の場合にはビジネスチャンスや脅威の顕在化の検知、顧客ニーズが主体の場合にはリアルタイムの顧客購買ニーズに適した情報提供等が代表的なビジネスケースとして考えられるであろう。では、これらについて具体的にはどのような事例が考えられるだろうか。

ビジネスチャンスや脅威の顕在化の検知
　企業や公的機関にとってビジネスチャンスや脅威の顕在化は、知るタイミングが早ければ早いほど収益に結びつけるアクションや損失を最低限に抑えるアクションを取りやすくなる。
例えば、ビジネスチャンス顕在化の例として、世の中における顧客トレンドの把握にも”リアルタイム型”のデータ処理は有効だ。自社商品の販売実績データやFacebookやTwitterなどのSNSデータ等をリアルタイムに分析してブーム商品等の世の中のトレンドをいち早く捕らえることで、競合他社に先駆けて販促を目的としたキャンペーンを行い、顧客の抱え込みを行うことができるためである。外食業界では各店舗のPOSデータや立地・天気等の周辺情報を組み合わせてリアルタイムに分析し、各種販促施策のPDCAサイクルを短時間に回したり、トレンドに適合したメニューをいち早く提供することで顧客獲得につなげる取り組みを行う企業も出始めている。外食業界では日々数多くの施策が実行されるため、”リアルタイム型”のデータ処理により施策決定のリードタイムを短縮できれば他社への優位性を築く大きな要因となり得るだろう。その他にも、例えば株価情報、為替情報、決算情報等から銘柄や金額、タイミングをリアルタイムに分析して自動売買を行う株のアルゴリズム取引等、ビジネスチャンスの顕在化を即座に捉えて獲得するために”リアルタイム型”のデータ処理は有効な手立てである。
他方、脅威の顕在化の代表的な例として、冒頭の「データ処理システムに求められる変革と背景」でも触れた個人情報の漏えいが挙げられるだろう。2013年における個人情報漏えい人数を原因別に見ると、不正アクセスが8割近くを占めていることがわかる。

漏えい原因比率（人数）

（参考：JNSA　2013年　情報セキュリティインシデントに関する調査報告書 P14） 

また、不正アクセスの場合、個人情報の集まりであるファイルやデータベースが対象になるため、発覚すると常にまとまった数の個人情報件数が漏えいすると推測される。実際に2013年のインシデント別の漏えい人数トップ10を見ると不正アクセスによるものが上位に多く現れていることがわかる。こうした背景から不正アクセスの発生をリアルタイムに監視・検知し、漏えい被害を最小限に食い止めることに大きな価値があると考えられ、そうしたソリューションがIT各社からリリースされている。

インシデント・トップ10

(引用：JNSA　2013年　情報セキュリティインシデントに関する調査報告書P4) 

情報漏えい以外にも、例えば製造業であれば製造工程における機器故障、クレジットカード業界であればカードの不正利用等も脅威の早急な検知と復旧に向けたアクションが求められる事例である。
 

リアルタイムの顧客購買ニーズに適した情報提供

顧客の購買ニーズが顕在化したタイミングを逃さずにニーズを満たす情報の提供ができれば、企業や公的機関にとっての大きな付加価値向上につながる。

「リアルタイム・マーケティング」という言葉をご存知だろうか。その時々で顧客が何を求めているかをリアルタイムに把握して、最も効果的な情報を送るマーケティング手法で、米国の企業マーケターの大きな注目を集めている。顧客が商品やサービスを必要としている時にパーソナライズド・メッセージ（それぞれの顧客にカスタマイズされた最適なメッセージ）を送るため、一般のマーケティングよりも効果が高いと考えられる。昨今、米国だけではなく、日本でもリアルタイム・マーケティングに参入する動きを示す企業も出始めた。例として、ユーザのリアルタイムの位置情報を参照して近くにある店舗のクーポン情報を入手・利用することができるスマートフォンアプリ等も実用化されている。大多数のクーポンサービスは、必要な時に利用者自らがクーポンを探すことが前提となっていたが、それを覆す新たな取り組みだ。その他、利用者の属性情報や購買履歴等の情報も組み合わせて、適合性をリアルタイムに分析し、よりパーソナライズドなクーポン発行に取り組む企業も出始めた。今まで、WEB販売業務では、商品Aの購買WEBページを参照した顧客に対して、商品Aと親和性の高い商品Bを即時に薦めるといったリコメンデーションサービスは盛んに行われていた。しかし、これは顧客が能動的にWEBで商品を購入したいというアクションを起こした場合にのみ有効であり、マーケティングの効果は限定的である。今後、IoT時代の進展によって、人の動き、モノの動きをリアルタイムに捉えることが可能になれば、日常的な活動の中で潜在的なニーズを把握し、電子媒体を通じてリアルタイム・マーケティングを仕掛ける企業はさらに増えてくるだろう。

3. “リアルタイム型”のデータ処理の実現にあたっての勘所

では”リアルタイム型”のデータ処理の実現にあたって、どのような点に考慮が必要か。当然ながら大量データを処理するための分析基盤の整備は必要であるが、ここでは”リアルタイム型”のデータ処理特有の視点として「データマネジメントの変革」「検知ロジックの評価・改善」「業務プロセスと人的配置の変革」の3つのトピックについて記載する。 

データマネジメントの変革
データマネジメントの観点で、”リアルタイム型”のデータ処理は”ストック型”の場合と大きく異なる。”ストック型”の場合には処理を行うまでの間、データを文字通り蓄積していかざるをえないのに対し、”リアルタイム型”のデータ処理ではデータが発生した時点で処理を行うため、発生した全てのデータを蓄積し続ける必要はない。逐次の処理結果や後続処理に必要なデータのみに限定して蓄積およびバックアップの取得を行っていくことがストレージへの設備投資を抑制するためにも効果的である。

“リアルタイム型”のデータ処理を後押しするテクノロジーとして「CEP（Complex Event Processing、複合イベント処理）」がある。CEPとは時系列で刻々と発生するデータをコンピュータのインメモリーに展開し、所定のルールと突き合わせて処理を行うアーキテクチャーである。全データを一旦データベースに格納してから、再度必要に応じて命令（クエリー）で参照して抽出するという処理方式からこうしたテクノロジーへの転換を図ることにより、上述のデータマネジメントの変革が可能となる。CEPが日本で話題になり始めたのは2010年前後でそれ以降、CEPを実現するソフトウエア製品が各ITベンダーで相次いで発売されている。

検知ロジックの評価・改善
特定の事象の検知を目的としたシステムの場合、“リアルタイム型”のデータ処理は”ストック型”のデータ処理に比べて評価プロセスの構築が特に重要となる。作成した検知ロジックをビジネス環境に適用する前に、構築した評価プロセスによりロジックの妥当性を十分に検証する。ロジックの妥当性の検証とは、下記2点の検証を指す。

1. 検知すべき対象を検知できているか

2. 検知すべきでない対象を検知していないか

“リアルタイム型”のデータ処理の場合に評価プロセスの構築が特に重要な理由は、”ストック型”のデータ処理と異なり、検知ロジックをビジネス環境に適用して即、現場担当者やクライアントに検知結果が通知され、アクションに移されるためである。適切な評価プロセスを踏んでいないロジックをビジネス環境に適用した場合、不要な通知の大量発報や誤った情報提供により、逆に企業の信頼低下を招いたり、コストの無駄遣いを生むことになりかねない。
また、評価プロセスの構築にあたっては前提として”教師データ”の収集が重要となってくる。教師データとは各トランザクションが検知対象か否かをフラグ付けしたデータである。単純なシナリオベースのロジックであれば、各トランザクションが検知対象か否かは明白であるため、教師データを新たに収集する必要はないだろう（例：製造工程の機器の温度が1時間に3回以上100℃を越えたケースを異常として検知する等）。しかし、複数の要因が複雑に絡み合って発生する現象を検知したい場合、教師データを収集しないと上記1, 2を検証することは不可能である。教師データの収集にあたっては後述の「業務プロセスと人的配置の変革」の中でも触れる。
評価プロセスに続いて重要になるのが、検知ロジックの改善プロセスである。サイバー攻撃等の多様化・高度化する現象を検知したい場合には、最初に定めた検知ロジックを踏襲するだけでは十分に現象を検知し続けることができない。こうした現象に対処するために重要なのは、現象の多様化・高度化のスピードに合わせて検知ロジックを迅速に更新することである。
シナリオベースの検知ロジックであればロジックを簡単かつ迅速に更新するプロセスを構築することが必要である。検知ロジックのアーキテクチャーに汎用性を持たせておき、閾値や抽出条件等の設定変更に柔軟に対応できる実装にしておく等の工夫に加え、ビジネス環境への適用前の検知ロジック評価・承認プロセスの効率化が求められる。
検知ロジックを統計的な分析手法により導出している場合には、発生したデータを逐次ロジックに学習させることで、ロジック自体の更新もリアルタイムに行うというアプローチも可能となる。サイバー攻撃のように企業にとってクリティカルかつ日々巧妙化していく現象を検知するにはこの機械学習型のアプローチにより、未知の脅威にも迅速に対応することができるだろう。
“リアルタイム型”のデータ処理の検知ロジックでは上記のように評価・改善プロセスの構築に留意し、PDCAサイクルを回して検知ロジックをブラッシュアップしていくことが重要である。

業務プロセスと人的配置の変革
“リアルタイム型”のデータ処理をビジネスに適用するためには、従来の“ストック型”のデータ処理を行っていた際の業務プロセスを見直す必要がある。”ストック型”のデータ処理の場合、データを一定期間溜め込んだ後で分析し、その結果から導かれた施策を定期的に業務に落とし込むというアプローチであったため、現場担当者は日常業務においてデータ処理の結果を意識する必要はなかった。しかし、”リアルタイム型”のデータ処理の場合にはリアルタイムに送られてくる分析結果から導かれる施策を日常業務で即アクションに移すことができるように業務プロセスを設計し直す必要があるのである。例えば、事務機器メーカーの保守業務において機器の稼動状況をリアルタイムに収集・分析し、分析結果から故障リスクの高い機器の部品交換や機器の使用状況に応じたコンサルテーションを行うといった業務プロセスへ変革が必要になる。 

また、「検知ロジックの評価・改善」の中でも触れた”教師データ”の収集が必要な場合、業務プロセスの中にその収集プロセスを組み込まなければいけないケースも考えられる。データ処理の結果から導かれた施策をアクションに移した後に、そのアクションの正誤結果を収集するプロセスである。例えば、WEB販売業務におけるリコメンデーション等の場合、実際にリコメンデーションが顧客の購買に寄与したかどうかをアクセスログから解析可能なため、業務プロセスの変革は必要ないだろう。しかし、営業活動におけるレコメンデーションやクレジットカードの不正検知等、アクションの正誤結果を手動で収集しなければいけないケースも考えられる。その場合、担当者がスムーズに結果を入力できるWEBインターフェースを準備したり、顧客から結果のフィードバックをもらう仕組みを構築する等の工夫が必要になる可能性がある。

一方で、実際に”リアルタイム型”のデータ処理に基づいた業務プロセスの構築を行おうと思うと課題に直面することもある。例えば、リアルタイムの対応に耐えうる体制の問題だ。ここでも、上記で触れたリアルタイム・マーケティングのケースについて触れよう。発生を予期できるイベントに合わせてリアルタイムのマーケティング施策に必要な体制を整えることは比較的容易だ。例えば、日本でもオリンピック開催地の決定やプロ野球チームのリーグ優勝決定のタイミングに合わせて、話題に関連付けた自社のマーケティングメッセージをソーシャルメディア等を通じて発信する企業が多く出始めている。これらのイベント発生のタイミングはある程度予測しやすいため、そのタイミングに合わせてマーケティング活動に必要な人員の確保や自社内の事前承認を得ることが可能である。また、ソーシャルメディアは多くの人がリアルタイムに話題を共有し合い、注目を集めると口コミが広まりやすい環境であるため、リアルタイムマーケティングに適した媒体だ。一方、予期できないイベントに合わせて即座に必要な体制を整えてマーケティング施策を打つことは容易ではない。しかし、米国ではスポーツイベント中の得点シーンやアクシデント等の突発的な事象の発生に合わせてリアルタイムマーケティングを行う企業も存在する。その背景は当該企業のマーケティング体制にあった。広告主や主要なブランド幹部を含めた臨戦態勢を敷き、マーケティングチャンス発生時に即座にブランドの公式声明に必要な利害関係者と調整をしてマーケティングメッセージをリリースできる体制を整えていたのである。

ITサービスマネジメントにおけるベストプラクティス（成功事例）をまとめたInformation Technology Infrastructure Library（ITIL）でも、「Process（プロセス）」「People（人）」「Product（プロダクトまたはツール）」の3Pの成熟が適切なITマネジメントにとって不可欠であると謳われている。“リアルタイム型”のデータ処理システムの運用においてもこれは例外ではない。処理結果を適切にビジネスに活用するためにはProductの観点のみならず、「Process（プロセス）」や「People（人）」の観点でも”ストック型”の場合と比べて変革が必要になる。
 

4. まとめ

IoT時代の到来やセキュリティ犯罪の高度化・多様化、情報技術の革新といった時代背景からデータ処理システムは従来の”ストック型”のデータ処理から”リアルタイム型”のデータ処理への変革を求められている。”リアルタイム型”のデータ処理は企業や公的機関が世の中におけるトレンド、顧客ごとに顕在化したニーズを適時把握することや機密情報漏えい等の経営体の存続に関わる脅威を早急に検知するために有効であり、業務に適用して成果をあげる企業も出始めた。実際に”リアルタイム型”のデータ処理の実現にあたっては分析基盤の整備以外に、「データマネジメントの変革」「検知ロジックの評価・改善」「業務プロセスと人材配置の変革」といった観点も考慮が必要であるが、情報爆発時代におけるビジネスチャンス拡大やリスクマネジメント強化に関して大きな差別化要素となり得るだろう。”過去”を分析するアプローチから”今”を分析するアプローチへの変革が期待される。