¿Conoces las posibilidades del data discovery?

La sesión "Arquitectura de Big Data para el descubrimiento de conocimiento oculto" fue inaugurada por nuestro socio Pablo González y dirigida por nuestro especialista Javier Campelo, gerente de Deloitte Digital. El tercer workshop sobre Advanced Analytics contó también con dos expertos en Big Data como son Antonio Álvarez -EMEA business manager de Amazon-, y Tomás Cruz - responsable de Inteligencia de Clientes de Endesa-. La jornada, que tuvo lugar el 27 de octubre en Greenhouse, giró sobre dos ideas clave: los entornos discovery y los factores de éxito del data discovery.

¿Qué es el entorno discovery?

Los entornos discovery son entornos exploratorios que permiten la explotación del Raw Data para la generación de Insights, lo cual nos ayuda a aflorar el Dark Data. El data discovery estructura su arquitectura funcional en dos capas (Storage y Analytics) y en dos entornos diferenciados (Sandbox y Productivo). Analizamos las partes que lo componen:

• Sandbox Analítico: entorno para Data Scientists y Business Analysts para el descubrimiento del Dato y la generación de Insights. 
• Zona Discovery: área de trabajo de los Data Scientist, donde explotan el dato crudo y desestructurado. 
• Zona Exploración: esta zona contiene el resultado de los Data Scientist y es accesible por los usuarios de negocio y experimentados para la validación de Insights. 
• Zona Smart Data: datos contrastados, consolidados y gobernados con un alto valor para negocio. 
• Zona de Landing: información cruda, tal y como se ha recibido con una mínima verificación y formateo de los datos. 
• Entorno Productivo: entorno gestionado por IT, donde se implantan y ejecutan los modelos analíticos y la gestión de eventos en tiempo real.

Factores de éxito del data discovery

El éxito del data discovery se debe a tres factores clave: la organización y el modelo de gobierno, la disponibilidad del dato y la implantación de herramientas Big Data: 

1. Organización y modelo de gobierno claro

La organización de una compañía que opera en entornos Big Data es fundamental ya que incide de manera decisiva en la gestión del talento y en crear la cultura del conocimiento. Asimismo, las empresas que carecen de capacidades analíticas avanzadas suelen indicar que su mayor reto es diseñar una estructura organizativa correcta que de soporte a la actividad de análisis.

2. Disponibilidad del dato

Es esencial que toda la organización disponga de un repositorio común, tenga visión de la información disponible y acceso a la misma. El uso de entornos comunes para todas las áreas genera, consecuentemente, la eliminación de “silos de conocimiento”, la automatización de la generación de conocimiento y eficiencia en costes y alineamiento.

3. Implantación de herramientas de Big Data con fuerte apoyo en la nube

La mayor complejidad y número de los modelos, el aumento y mayor complejidad de datos disponibles y mayor número de usuarios nos exige disponer de herramientas escalables y con capacidades real de BigData que nos permitan el tratamiento de datos no estructurados y en tiempo real, así como capacidades de cálculo mayores: Hadoop, Spark, procesamiento con GPUs, etc. Además, las soluciones en la nube tipo (AWS, Azure, Google) permiten disponer de herramientas BigData y hardware de una forma flexible, escalable y contenida en costes.