Open Metadata, un open source pour la gouvernance des données
Teddy Crépineau nous fait découvrir Open Metadata, la plateforme open source collaborative pour gérer vos métadonnées, avec des fonctionnalités de glossaire, de traçabilité, de profiling et de qualité de données. On a à disposition un grand nombre de connecteurs permettant l'intégration des composants de la stack data, comme Snowflake, dbt ou Databricks ...
Open Metadata est une solution open source conçue pour centraliser les métadonnées de vos projets data, faciliter la gouvernance des données, mesurer et suivre la qualité des données dans le temps. Voici les points clés du projet :
👉 Open Metadata permet de collecter, centraliser et gérer les métadonnées à travers une plateforme unifiée. Cela inclut la découverte des métadonnées, leur gouvernance, et la gestion centralisée des informations.
👉 La plateforme propose plus de quatre-vingts connecteurs pour intégrer divers systèmes applicatifs, allant des bases de données aux outils de business intelligence comme Power BI et Tableau. Ces connecteurs permettent d'ingérer automatiquement les métadonnées et de construire le lignage entre composants.
👉 Open Metadata facilite le profilage des données et l'exécution de tests de qualité. Il intègre la capacité d'exécuter des procédures SQL ou DBT personnalisées et de suivre leur exécution dans le temps.
👉 La solution permet aux collaborateurs de mettre à jour les descriptions et d'échanger autour de ces données. La plateforme est personnalisable et peut s'adapter aux besoins spécifiques des utilisateurs.
👉 Open Metadata inclut des outils pour automatiser la gestion des métadonnées, notamment l'ajout de tags (classification) ou la propagation d'informations à travers le lignage des données.
Au final, Open Metadata se positionne comme une plateforme complète pour la gestion des métadonnées, et intègre des fonctionnalités avancées pour gérer la qualité des données et en faire le suivi, tout en permettant une personnalisation et une automatisation de la gouvernance pour répondre aux besoins spécifiques des équipes data.