DATANOSCO

Merci aux 500+ premiers abonnés ! Et déjà plus de 12 épisodes du #datasommelier ! S1E1 👉 Apache #Iceberg, vers un nouveau standard du stockage de la donnée ? avec Victor Coustenoble https://lnkd.in/eDXaW8Ua S1E2 👉 Découverte de The Apache Software Foundation Foundation, avec JB Onofré https://lnkd.in/esbzkhRC S1E3 👉 #FinOps, halte au gaspillage ... où les bonnes pratiques à mettre en place pour optimiser les coûts d'une plateforme data, avec Matthieu Rousseau et Ismael Goulani https://lnkd.in/eWrZvS6z S1E4 👉 Un #Lakehouse dans un cloud français, économiquement abordable et basé sur des composants #opensource interchangeables, c'est possible ? avec Vincent HEUSCHLING https://lnkd.in/evUk-qhh S1E5 👉 Talaxie, le fork Talend Open Studio. L'initiative de Jean Cazaux https://lnkd.in/ekpAxC2T S1E6 👉 De PowerMart à #IDMC, en passant par #PowerCenter, Christophe FOURNEL retrace les 30 dernières années d'Informatica https://lnkd.in/es-5-iH9 S1E7 👉 Le retour des 'Data Platforms'. Interview de Eric Mattern https://lnkd.in/evZ47CMP S1E8 👉 Le projet #Icehouse avec Victor Coustenoble, une plateforme #Lakehouse intégralement gérée, qui combine le moteur de requête #opensource #Trino et Apache Iceberg. https://lnkd.in/eTWmnUk3 S1E9 👉 Retour sur la conférence #Subsurface, organisée par Dremio qui s'est déroulée les 2 et 3 mai 2024 à New York. Charly Clairmont en profite pour nous rappeler ce qu'est Dremio et ses différents cas d'usages. https://lnkd.in/eYWGSyh2 S1E10 👉 La gouvernance de données, c'est d'abord une question organisationnelle ! Daniel MALOT nous parle de son expérience terrain et décrit les étapes nécessaires pour mener à bien un projet de gouvernance en nous faisant découvrir quelques aspects de sa solution META ANALYSIS. https://lnkd.in/eeP7HQw7 S1E11 👉 Pierre Villard retrace l'histoire de la solution Apache NiFi, véritable gateway universelle permettant le développement de pipelines de mouvements de données, aussi bien en mode batch qu'en streaming. https://lnkd.in/e-daVV7n S1E12 👉 Le streaming, une nouvelle façon de penser l'architecture des applications et d'améliorer les usages de la data ! Fred CECILIA constate que le #streaming s'impose naturellement lorsqu'on a vainement essayé d'optimiser les batch existants https://lnkd.in/edM24ybU S1E14 👉 Alexandre Guillemine de chez Foodles nous détaille toutes les étapes de son projet de migration de #PostgreSQL vers Snowflake ! https://lnkd.in/edA9M3qd S1E15 👉 Amphi, un ETL #opensource pour faire du RAG, développé par Thibaut Gourdel ! https://lnkd.in/eQuTgZ6q S1E16 👉 Cloudera, de l'ère Bigdata à l'ère de l'IA, interview de Denis FRAVAL https://lnkd.in/efgh4b6E S1E17 👉 DCP, la Data Platform ClickOps Self Service, avec le témoignage d'EDF. Interview de Frederic Collin et Edouard Rousseaux https://lnkd.in/gKuDQAHG

#conseil #bienveillance #data #cloud #accompagement Je suis lead tech dataing, focus azure/snowflake/dbt/power bi. Après qq années dans l'it, le dev, la data et le cloud, j'ai décidé de proposer mon aide à des personnes qui en auraient besoin. tu sors d'école tu es en reconversion tu ne sais pas trop entre #dataing #datanalyst #datascientist Un cloud provider ou plusieurs ? Dataviz ou pas ? Et bien d'autres cas... Je te propose de me contacter simplement par un petit message sur linkedin. Explique moi ta problématique, on se cale un petit call d'une heure et on échange. Je ne te promet pas de miracle, mais des conseils. Ca sera ensuite à toi de prendre tes décisions d'apprentissage/changement d'approche/autres. Attention je ne suis pas un conseillé d'orientation ni un enseignant : Je vais faire ça à hauteur d'une heure par semaine (donc une personne par semaine), à titre bénévole. premier arrivé premier servi. Julien.

Replay de l'été. Meetup DCube, architecture de référence Azure, Snowflake, dbt, Power BI Meetup #moderndatastack organisé, animé et hosté par DCube. On parle d'architecture de référence autour des composants Microsoft Azure, Snowflake, dbt Labs et Power BI, avec les experts DATA : Frédéric Brossard, Julien FOURRE, Nicolas Bailly et Fabien TANQUEREL

Replay de l'été. S1E16, Cloudera, de l’ère Bigdata à l’ère de l’IA, interview de Denis FRAVAL

Data observability and data quality are two closely related concepts. While #dataquality focuses on ensuring data reliability, #dataobservability goes further by offering a broader view of your data ecosystem's health. Here's how the two concepts are interlinked: 👉 Data Quality as a foundation: Data quality is an essential element of data observability. To ensure the reliability of data used for analysis and decision-making, it's crucial to make sure it is accurate, consistent, and complete. 👉 Evolution towards observability: With the exponential growth in data volume, sources and use cases, traditional data quality methods such as manual testing or scripts become insufficient. Data observability addresses this challenge by offering tools capable of continuously monitoring data status at each stage of its lifecycle. 👉 Real-time monitoring: Data observability translates into the implementation of real-time monitoring of data pipelines, allowing for quick detection of anomalies, drifts, and incidents. This goes beyond simple quality tests by providing a contextual understanding of problems and their potential impact. 👉 Data catalog as a crossroads: A robust data catalog, integrating both data quality and lineage information, is essential for effective data observability. This allows tracing the origin of data, understanding its transformation, and quickly identifying potential sources of problems. 👉 Data lineage for an overview: Data lineage, by tracing the journey of data from its creation to its use, is a pillar of data observability. It allows understanding the impact of changes, identifying dependencies between systems, and facilitating incident diagnosis. In summary, data observability can be considered an evolution of data quality, adapted to the complexity of current data ecosystems. It provides the tools and information necessary to ensure data reliability, trust, and traceability.

Replay de l'été. S1E15. Amphi, un ETL opensource pour faire du RAG, développé par Thibaut Gourdel !

Replay de l'été. S1E15, un ETL opensource pour faire du RAG, développé par Thibaut Gourdel !

To my French-speaking connections: Join Stéphane Heckel and me on Wednesday to discover Amphi, a new open-source, Python-based ETL designed for the AI era. I'll be discussing the reasons behind developing another ETL, highlighting Amphi's key features and differentiators, and sharing its roadmap. As a bonus, I'll also be doing a live demo where I'll develop a RAG pipeline!

Replay de l'été. S1E14, un exemple de migration PostgreSQL vers Snowflake.

Replay de l'été. S1E12, le streaming, une nouvelle façon de penser les architectures data, avec Fred CECILIA