Data Mesh

Por Zhamak Dehghani

En materia de datos, actualmente se atraviesa por un punto de inflexión, en el que las soluciones de gestión ya no se encuentran a la altura de la complejidad de las organizaciones, de la proliferación de las fuentes de datos y del alcance de las aspiraciones de obtener valor de estos con inteligencia artificial y analítica.
En este libro práctico, la autora Zhamak Dehghani presenta Data Mesh, un paradigma sociotécnico descentralizado, basado en una arquitectura distribuida moderna que proporciona un nuevo enfoque para la obtención, el intercambio, el acceso y la gestión de datos analíticos.
Dehghani guía a profesionales, arquitectos, líderes técnicos y responsables de la toma de decisiones en sus propósitos, desde la arquitectura tradicional de Big Data hasta un enfoque distribuido y multidimensional de la gestión de datos analíticos. En Data Mesh, se trata a estos como un producto, se consideran los dominios como una cuestión primordial, se utiliza el concepto de "plataforma" para crear una infraestructura de datos de autoservicio y se presenta un modelo informático federado de gestión de datos.
Gracias a la lectura de este libro:
oObtendrá una introducción completa a los principios de la malla de datos y sus componentes
oPodrá diseñar una arquitectura de Data Mesh
oConseguirá guiar una estrategia de Data Mesh y su ejecución
oNavegará por el diseño organizativo hacia un modelo descentralizado de datos
oIrá más allá de los repositorios y lagos de datos tradicionales hacia una malla de datos distribuida
Sin duda, en cuanto a datos se refiere, se hace presente un nuevo paradigma que será crucial para el desarrollo de los profesionales. Con este libro, podrá formar parte de él y disfrutará de los beneficios de Data Mesh desde su origen.

Zhamak Dehghani es miembro de varios consejos asesores de tecnología, entre ellos el de Thoughtworks. Zhamak es una defensora de la descentralización de todas las cosas, incluida la arquitectura, los datos y, en última instancia, el poder. Es la fundadora de Data Mesh.

"Una visión exhaustiva y crucialmente necesaria de los datos como producto, que incluye los cambios culturales, de proceso, tecnológicos y de equipo necesarios para conseguirlo"
-Manuel Pais
Coautor de Team Topologies

"El enfoque detallado de Zhamak en Data Mesh hace que este nuevo concepto sea claro y útil"
-Gwen Shapira Cofundadora y CPO de Nile Platform; autora de Kafka: The Definitive Guide

• Idioma: Español
• Editorial: Marcombo
• Fecha de lanzamiento: 28 oct 2022
• ISBN: 9788426735652

Vista previa del libro

PARTE I

¿Qué es Data Mesh o la «malla de datos»?

[…] la única simplicidad en la que se puede confiar es la que se encuentra en el lado opuesto de la complejidad.

—Alfred North Whitehead

Cuando se observa el uso de la malla de datos, como Daf, S. A., por ejemplo, al abrir el libro, se obtiene una idea de la complejidad de ingeniería y organización necesarias para implementarla. Probablemente podríamos hablar de estas complejas e intrincadas piezas de implementación de la malla de datos durante un tiempo. En lugar de ello, me gusta hacerlo sobre la malla de datos desde sus primeros principios. Una vez entendamos sus elementos básicos, podremos entonces ensamblarlos desde la base para desarrollar su ejecución.

Así es como voy a presentarle la malla de datos en esta parte del libro, centrándome en sus primeros principios y en cómo interactúan entre sí.

Estos principios son proposiciones y valores que guían el comportamiento, la estructura y la evolución de su ejecución. Mi intención para esta parte del libro es crear unos cimientos que proporcionen la base para el perfeccionamiento futuro de las prácticas y la tecnología.

Vale la pena tener en cuenta que este libro se escribe en un momento en el que la malla de datos todavía se encuentra en la fase innovadora y de adopción temprana de una curva de adopción de la innovación1. Se halla en una fase en la que los innovadores aventureros la han adoptado y ya están creando herramientas y tecnologías en torno a ella, y los muy respetados primeros usuarios están cambiando su estrategia de datos y su arquitectura inspiradas en la malla de datos. Por lo tanto, está bien incluir una articulación de principios y estilo arquitectónico en mi explicación sobre la malla de datos en este momento y dejar que los detalles de implementación y la tecnología específicas se perfeccionen y construyan con el tiempo. Anticipo que cualquier diseño de implementación específico o sugerencia de herramientas estará sencillamente obsoleto para cuando usted lea este libro.

He organizado esta parte en cinco capítulos. El capítulo 1, «La malla de datos en pocas palabras», le ofrece una visión rápida de sus cuatro principios y su disposición hacia un modelo de alto nivel. Cada uno de los capítulos siguientes se centra en uno de los principios: capítulo 2, «Principio de propiedad del dominio»; capítulo 3, «Principio de los datos como producto»; capítulo 4, «Principio de la plataforma de datos de autoservicio», y capítulo 5, «Principio de gobernanza informática federada».

El orden en el que se presentan los principios es importante, porque son complementarios. La distribución de la propiedad y la arquitectura de los datos orientada al dominio representan el punto central del enfoque. Todo lo demás se deriva de ello. La malla de datos abarca todos estos principios.

Sugiero que todo lector interesado en comprender o utilizar la malla de datos lea esta parte. Espero que lo que ofrece dicha sección sirva de base para todas las conversaciones sobre la malla de datos.

_______

1Everett Rogers, Diffusion of Innovations, 5. a edición (Nueva York: Simon & Schuster, 2003).

CAPÍTULO 1

Data Mesh en pocas palabras

«Piensa simple», como decía mi viejo maestro —lo que significa reducir el todo a sus partes en términos más simples, volviendo a los primeros principios.

—Frank Lloyd Wright

Data Mesh o la malla de datos es un método sociotécnico descentralizado para compartir, gestionar y acceder a datos analíticos en entornos complejos y a gran escala, dentro de o entre organizaciones.

La malla de datos es un nuevo enfoque en el abastecimiento, la gestión y el acceso a datos para casos de uso analíticos a escala. Llamemos a esta clase de datos analíticos. Tales datos se utilizan para casos de uso predictivo o diagnóstico. Es la base para visualizaciones e informes que proporcionan una perspectiva sobre el negocio. Se utiliza para formar modelos de aprendizaje automático que mejoran el negocio con inteligencia basada en datos. Es el ingrediente esencial para que las organizaciones pasen de la intuición y la toma de decisiones guiadas por la intuición a la toma de acciones basadas en observaciones y predicciones basadas en datos. Los datos analíticos son los que impulsan el software y la tecnología del futuro. Permiten pasar de la tecnología de algoritmos basados en reglas diseñadas por seres humanos a modelos de aprendizaje automático basados en datos. Los datos analíticos se están convirtiendo en un componente cada vez más importante del panorama tecnológico.

Los beneficios

Para obtener valor de los datos a escala en organizaciones complejas y a gran escala, la malla de datos establece los siguientes efectos:

•Responder con elegancia al cambio: la complejidad, la volatilidad y la incertidumbre esenciales de una empresa

•Mantener la agilidad frente al crecimiento

•Aumentar la relación entre el valor de los datos y el de la inversión 1

Los cambios

La malla de datos introduce cambios técnicos y organizativos multidimensionales con respecto a métodos anteriores de gestión de datos analíticos.

La figura 1-1 resume los cambios que introduce la malla de datos con respecto a los enfoques anteriores.

La malla de datos requiere un cambio fundamental en los supuestos, la arquitectura, las soluciones técnicas y la estructura social de nuestras organizaciones, en la forma en que gestionamos, utilizamos y poseemos los datos analíticos:

•Desde el punto de vista organizativo, pasa de la propiedad centralizada de los datos por parte de especialistas que ejecutan las tecnologías de la plataforma de datos a un modelo descentralizado de propiedad de datos que lleva la propiedad y la responsabilidad de los datos a los dominios de negocio donde se producen o utilizan los datos.

•Desde el punto de vista arquitectónico, pasa de la recopilación de datos en almacenes y lagos monolíticos a la conexión de datos a través de una malla distribuida de productos de datos a los que se accede a través de protocolos estandarizados.

•Desde el punto de vista tecnológico, se pasa de las soluciones tecnológicas donde se tratan los datos como un subproducto de la ejecución del código de la tubería a las soluciones en las que se tratan los datos y el código que los mantiene como una unidad viva y autónoma.

•Desde el punto de vista operativo, cambia la gobernanza de datos de un modelo operativo centralizado de arriba abajo con intervención humana a un modelo federado con políticas informáticas integradas en los nodos de la malla.

•Principalmente, desplaza nuestro sistema de valor de los datos como un activo para ser recogido a los datos como un producto para servir y deleitar a los usuarios de datos (internos y externos a la organización).

•Desde el punto de la infraestructura, pasa de dos conjuntos de servicios de infraestructura fragmentados e integrados punto a punto —uno para datos y análisis y otro para aplicaciones y sistemas operativos— a un conjunto de infraestructuras bien integrado tanto para los sistemas operativos como para los de datos.

Illustration

Figura 1-1. Dimensiones del cambio en la malla de datos

Desde la introducción de la malla de datos en mi entrada original del blog (amablemente presentada por Martin Fowler), he notado que la gente ha luchado para clasificar el concepto. ¿Es la malla de datos una arquitectura? ¿Es una lista de principios? ¿Es un modelo operativo? Después de todo, dependemos de la clasificación de los patrones2 como una función cognitiva importante para entender la estructura de nuestro mundo. Por lo tanto, he decidido clasificar la malla de datos como un paradigma sociotécnico: un método en el que se reconocen las interacciones entre la gente y la arquitectura técnica y las soluciones en organizaciones complejas. Se trata de un enfoque de la gestión de datos que no solo optimiza la excelencia técnica de las soluciones analíticas de intercambio de datos, sino que también mejora la experiencia de todas las personas implicadas: proveedores de datos, usuarios y