Tendencias de gestión de datos para 2019: Gobernanza, DataOps, nube

Un lago de datos más ordenado

Las cosas están cambiando incluso para el lago de datos de Hadoop, una vez visto como un lugar en el que lanzar datos en bruto sin clasificar para usos analíticos potenciales.

"La renovación de la gobernabilidad de los datos afecta el lago de datos", dijo McKnight. "No se puede simplemente tirar datos allí, incluso si eso es lo que el científico de datos quiere hacer".

El gobierno de los datos para el lago de datos ha generado un mayor enfoque en los catálogos de datos y los procesos de etiquetado de metadatos, agregó. El rol de los profesionales de datos también está cambiando como parte de esas iniciativas y otras tendencias de administración de datos, un cambio que se refleja en el aumento de DataOps, dijo McKnight.

William McKnight

Esta es una derivación de los métodos DevOps que se esfuerzan por optimizar el desarrollo de aplicaciones. En la forma de DataOps, señaló McKnight, los equipos de administración de datos trabajan para mantener un tratamiento coherente de los datos y para ver que ninguno de ellos se queda atrás en el impulso al uso de la producción a gran escala en las arquitecturas de datos distribuidos.

Wayne Eckerson, fundador y consultor principal de Eckerson Group, también señaló a DataOps como una nueva disciplina emergente que probablemente se volverá más prevalente en 2019.

"Muchas organizaciones de usuarios están tratando de envolver sus mentes en torno a DataOps con procesos más ágiles", dijo Eckerson. "Están evaluando el control y las pruebas de versión delgadas (lean), realizando todas las buenas prácticas de desarrollo de software y aplicándolas al entorno de datos".

El trabajo en equipo de gestión de datos se expande

A medida que persiguen las prácticas orientadas a DataOps, los equipos de administración de datos también están trabajando más estrechamente con el negocio, hasta el punto en que su lugar en la estructura de TI tradicional también está cambiando.

"Estamos viendo una continua desintermediación de la TI central y un cambio relacionado en la dinámica del equipo de datos", dijo McKnight. "Muchas organizaciones reconocen esto como el nuevo camino, y ​​esto se refleja en la composición de sus departamentos de TI".

También es notable entre las tendencias de administración de datos la creciente necesidad de que los equipos de análisis y administración de datos trabajen en colaboración en nuevos tipos de análisis avanzados que aprovechen la tecnología de inteligencia artificial, según Doug Henschen, analista de Constellation Research Inc.

Doug Henschen.

Trabajar en equipos unificados es clave para llevar el aprendizaje automático y los modelos de aprendizaje profundo a la producción a gran escala, dijo Henschen. Es una tendencia de 2018 que espera que se lleve hasta 2019.

"Lo que se necesita son enfoques basados ​​en equipos que reúnan a científicos de datos, analistas de datos, ingenieros de datos, desarrolladores y líderes empresariales para integrar modelos en aplicaciones empresariales a escala con monitoreo y optimización continuos", dijo Henschen.

Para las empresas, la diferenciación competitiva se basará en parte en la forma más o menos amplia en que pueden utilizar los datos y aprovechar las técnicas de análisis de vanguardia, y "si pueden hacerlo con un gobierno y cumplimiento sólidos", continuó Henschen. "Los datos son valiosos mientras sean confiables". Él también ve los catálogos de datos en uso como una forma de hacer que los datos sean más gobernables.

Mire la nube como una plataforma de datos

La computación en la nube no es una tendencia nueva, pero alcanzó un crescendo en el lado de la administración de datos en 2018. Las bases de datos en la nube y los almacenes de datos fueron fundamentales para la tecnología y los movimientos de adquisición de AWS, IBM, Microsoft y Oracle. La posibilidad de que los sistemas de big data se trasladen a la nube también se ocultó tras la fusión que los proveedores de Hadoop, Cloudera y Hortonworks acordaron en octubre.

James Curtis.

Según James Curtis, analista de 451 Research, tanto Cloudera como Hortonworks enfrentaron desafíos de tecnología y negocios mientras perseguían iniciativas en la nube que permitían a los usuarios cambiar el Sistema de archivos distribuidos de Hadoop (HDFS) por tecnologías de almacenamiento de objetos en la nube.

De hecho, ninguna de las compañías promocionaba el término Hadoop en el momento en que se anunció la fusión, lo que refleja el papel disminuido de HDFS y el marco de programación y el motor de procesamiento MapReduce, los componentes centrales originales de la plataforma de big data.

"El motor de procesamiento subyacente original y el formato de archivo en Hadoop están siendo reemplazados. Pero, aunque Hadoop será el elefante que no está en la habitación, lo que hizo Hadoop no se va a ir", dijo Curtis.

Lo que efectivamente hizo Hadoop, agregó, fue introducir un amplio ecosistema de big data con componentes de software de fuente abierta y permitir a los usuarios aplicar diferentes técnicas de procesamiento a diferentes cargas de trabajo de datos, dos tendencias de administración de datos que se espera que continúen con o sin Hadoop.

Wayne Eckerson

El almacén de datos basado en la nube hizo su primera aparición como una tecnología para observar hace bastante tiempo. Al igual que con los sistemas de big data, el cambio de más almacenes de datos a la nube también parece inevitable.

"La nube es donde están yendo los almacenes de datos. El único inconveniente es el enorme volumen de datos en las instalaciones, pero también existen herramientas para eso", dijo Eckerson, refiriéndose al software que puede ayudar a los usuarios a mover sus datos a la nube.

La implementación rápida, las operaciones siempre activas y la capacidad de manejar con mayor facilidad el rendimiento puntiagudo son algunos de los factores decisivos para ir a la nube, dijo Eckerson. Agregó que, cada vez más a menudo, los equipos de TI y de administración de datos también se complacen en entregar las responsabilidades de la infraestructura de datos a los proveedores de la nube.

Cambio: Lidie con eso

El final del año y el comienzo de uno nuevo es un delimitador arbitrario para medir el progreso o el retroceso de las tendencias en tecnología y gestión de datos. Pero es crucial que las organizaciones se preparen para lidiar con el cambio que traen las nuevas y emergentes tendencias, dijo McKnight. En 2019, definitivamente tendrán más con qué lidiar, predijo.

"Vamos a ver un cambio acelerado en el mundo de los datos, y también vamos a ver resistencia a ese cambio", dijo McKnight.

La última parte no es nueva: Siempre ha habido un "factor de resistencia" en las organizaciones, continuó McKnight. Sin embargo, dijo que las compañías de vanguardia están abordando cada vez más la resistencia interna y "son más progresivas en la satisfacción de sus necesidades de datos".