Tech Lead Data Engineer – Azure Databricks

Notre client recherche un Tech Lead Data Engineer Azure Databricks (H/F) dans le cadre d’une mission freelance. La mission s’inscrit dans le renforcement d’une équipe Data et l’évolution de sa plateforme de données. Le consultant interviendra comme référent technique pour accompagner les choix d’architecture, industrialiser les développements Data et garantir la performance, la robustesse et la maintenabilité des solutions. 7 ans d’expérience minimum en Software Engineering et Data Engineering, avec un solide parcours en développement logiciel. - Expertise confirmée sur Azure Databricks, avec une expérience significative et démontrable en production, notamment sur Unity Catalog et Genie. - Excellente maîtrise d’Apache Spark (PySpark / Spark SQL), incluant l’optimisation et l’industrialisation des traitements Data. - Expérience en conception de frameworks Data réutilisables, avec une maîtrise des enjeux de qualité logicielle, de tests et d’industrialisation. - Expérience avérée en tant que Tech Lead ou référent technique, avec accompagnement et montée en compétence d’équipes Data Engineering. Compétences demandées dans la mission - dbt (Data Build Tool) - Microsoft Azure / écosystème Cloud Azure - Architecture de plateformes Data scalables - Conception et transformation de données. - Concevoir, développer et maintenir des frameworks Data internes réutilisables. - Participer aux choix d’architecture et à l’évolution de la plateforme Data. - Standardiser et industrialiser les développements de pipelines de données. - Optimiser les performances des traitements Spark et des pipelines Databricks. - Accompagner les équipes sur les composants avancés de Databricks, notamment Unity Catalog et Genie. - Définir et mettre en œuvre les standards de qualité de code, de tests et de documentation. - Automatiser les processus de développement et améliorer les pratiques d’ingénierie logicielle. - Assurer le leadership technique, accompagner les Data Engineers et contribuer à leur montée en compétence. - Participer à la résolution des problématiques techniques complexes.

7 ans d’expérience minimum en Software Engineering et Data Engineering, avec un solide parcours en développement logiciel. - Expertise confirmée sur Azure Databricks, avec une expérience significative et démontrable en production, notamment sur Unity Catalog et Genie. - Excellente maîtrise d’Apache Spark (PySpark / Spark SQL), incluant l’optimisation et l’industrialisation des traitements Data. - Expérience en conception de frameworks Data réutilisables, avec une maîtrise des enjeux de qualité logicielle, de tests et d’industrialisation. - Expérience avérée en tant que Tech Lead ou référent technique, avec accompagnement et montée en compétence d’équipes Data Engineering. Compétences demandées dans la mission - dbt (Data Build Tool) - Microsoft Azure / écosystème Cloud Azure - Architecture de plateformes Data scalables - Conception et transformation de données.