¿Cómo traer luz a la “Dark Data”?

Hasta ahora “pocas organizaciones han sido capaces de explorar fuentes de datos no tradicionales” según se menciona en la tendencia Dark Data: Dark analytics: Illuminating opportunities hidden within unstructured data enmarcada en el reporte Deloitte Tech Trends 2017. Datos, por ejemplo, provenientes del Internet de las Cosas (IoT) como sensores o dispositivos que ahora permiten su conexión a internet y generación de datos valiosos, así como también datos que pueden obtenerse a partir de archivos multimedia o medios de comunicación, no han sido aún explotados por muchas organizaciones.

Según esta tendencia, se prevé que, en el próximo año, algunos líderes y data scientists comiencen a explotar los conocimientos que radican en estos datos. En Uruguay esto representará un desafío, que se suma a los esfuerzos que ya están realizando muchas organizaciones en explotar (con distintos niveles de madurez) los volúmenes de datos para nada despreciables de los sistemas transaccionales y otras soluciones existentes. Incluso considerando tan solo datos provenientes del IoT, esto ya representará un gran desafío en nuestro país. Ya que si bien en Uruguay aún no sea una realidad marcada (al menos no en todas las industrias) las proyecciones son favorables respecto a la adopción de dispositivos asociados al IoT. Y a medida que el IoT se expanda, también lo harán los volúmenes de datos.

Seguramente tener una práctica de almacenamiento y explotación de las fuentes de datos tradicionales madura será una ventaja competitiva para afrontar estos nuevos desafíos. Pero las empresas que quieran avanzar en este terreno, deberán además considerar extender sus capacidades en materia de:

        i.   Nuevo almacenamiento y procesamiento: Los datos irán en aumento, es una obviedad, los avances tecnológicos nos traerán más datos y en forma más rápida. Para almacenar y procesar estos datos, en plazos razonables, no podemos continuar con las plataformas tradicionales de almacenamiento y procesamiento de información, ellas no estarán a la altura de las circunstancias. Las plataformas de Big Data nos permitirán aprovechar estos datos, provisionando de las capacidades necesarias.

      ii.   Nuevo análisis: Los análisis que querremos realizar cambiarán, ya no querremos generar el clásico “reporte”, o al menos no solo eso.  Los métodos tradicionales de análisis ya no serán lo suficientemente eficientes para los desafíos y para mantener la competitividad. El contexto, los volúmenes y variedad de estas nuevas fuentes de información serán tierra fértil para técnicas de análisis cómo machine learning o análisis cognitivo, que alimentarán las técnicas tradicionalmente empleadas cómo exploración y visualización de información.

Conectar estas dos capacidades en una práctica de Big Data Analytics será un posible camino que nos permitirá explorar estos nuevos datos que esperemos comiencen a llegarnos. Como aún estamos en medio de la ebullición de tecnologías e incertidumbre, debemos construir y adaptarnos constantemente. Y para esto, nada mejor que aprender a aprender. Trabajar en una modalidad de laboratorios nos permitirá generar primeras herramientas de forma conjunta para aprovechar al máximo los datos e idear estrategias efectivas que minimicen el riesgo y maximicen los resultados. Nivelar conocimientos a lo largo del equipo y/o realizar pruebas de concepto tomando algunas de las fuentes de datos, ya sea solo o con apoyo externo, puede ser un muy buen camino para iniciarnos, antes de comenzar con implementaciones concretas. Iniciarse en esto, más allá de no tiene frente a sus ojos una necesidad clara, le permitirá dotar a su equipo con entendimiento de la problemática, experiencia respecto a los requerimientos de la plataforma e ideas de posibles aplicaciones de análisis, brindando una ventaja competitiva cuando las necesidades se presenten. Y lo harán.