Big Data, ¿qué roles necesito?

Publicaciones

Big Data, ¿qué roles necesito?

'Cuando quiero impulsar una iniciativa de Big Data, ¿con qué profesionales necesito contar?'

Es la pregunta más habitual que surge cuando el director o CEO de una empresa se plantea implantar un departamento que optimice y consiga una ventaja competitiva a través de proyectos que impliquen la gestión de Big Data. Si bien es cierto que aún el plano tecnológico está en proceso de consolidación, la incertidumbre es mayor desde el punto de vista de la explotación, qué equipos se han de crear y cuáles han de ser sus roles y responsabilidades

Se ha producido un gran avance en el proceso de consolidación de las diferentes soluciones -activos o piezas- que constituyen las arquitecturas Big Data, tanto para los procesos de ingesta como para los de gestión de colas, hasta el almacenamiento. De hecho, como metáfora se podría decir que hemos pasado de un crecimiento equivalente a la explosión de especies del Cretácico a una consolidación, por selección natural, de las soluciones.

Este ha sido el primer obstáculo para la adopción del Big Data. Sin embargo, una vez superado, o al menos aclarado, aparece el segundo obstáculo, quizás el más importante desde el punto de vista del negocio. ¿Cómo explotar toda esta ingente masa de datos?

Estos, por otro lado, han necesitado una infraestructura no tan costosa comparativamente hablando a los costes asociados a las infraestructuras tradicionales del DataWarehouse, pero sí desde el punto de vista de los perfiles que han de hacerse cargo de esta nueva infraestructura basada en soluciones muy novedosas.

Asociado a esta pregunta es donde aparece la diferenciación de roles. Del rol que realiza la ingeniería del dato -el “Data Engineer”- y el rol que realiza la investigación, la ciencia del dato -el “Data Scientist"-. 

¿Son iguales?, ¿hacen lo mismo?, ¿han de tener backgrounds equivalentes? Evidentemente tienen puntos de intersección, pero son perfiles muy ortogonales, que cubren objetivos diferentes y conllevan distinto nivel de profundidad del conocimiento que requieren sus dominios de experiencia. Es decir, encontrar que una misma persona pueda ofrecer soluciones Big Data, interpretarlas y modelizar estos datos es muy complicado.

Sin embargo, como esta diferenciación existe y es cada vez más profunda, ofrecemos una tabla con cierto nivel de detalle sobre cada una de sus competencias, de forma que las diferencias quedan manifiestas:

Data Engineer vs Data Scientist

Esta segregación sirve punto de partida para simplificar el reto que supone arrancar una iniciativa de Big Data. Sin embargo, no termina ahí, ya que la ventaja competitiva real residirá en conseguir construir un equipo con altas capacidades, que funione a alto rendimiento.

Artículo escrito por Carlos Ortega Fernández, gerente de Deloitte Digital