Senior Data Engineer

Contexte

   Au sein de la direction Transformation Digitale & Data, vous intégrerez une équipe agile dédiée à la conception de produits Data pour les métiers de Inwi.

   Vous jouerez un rôle clé dans la construction et l’optimisation des pipelines de données. Votre mission principale sera d’assurer la qualité, l’observabilité et la fiabilité des données produites pour répondre aux besoins des équipes métiers. Vous interviendrez dans un environnement distribué basé sur Cloudera CDH et Spark, et serez amené(e) à collaborer avec une équipe de Data Engineers tout en assurant une communication fluide avec les Product Owners et les métiers.

   Votre curiosité et votre capacité à communiquer avec le product owner, les data engineers de votre équipe, et les équipes de support sont vos atouts pour garantir des livrables alignés aux besoins.

. Missions et Attentes

  Concevoir, développer et optimiser des pipelines de données robustes et scalables sur une plateforme on-premise Cloudera CDH & Spark.

  Assurer la qualité des données en définissant et en implémentant des tests unitaires et de validation des données.

  Mettre en place des systèmes d’observabilité pour monitorer la qualité et la fiabilité des data assets produits.

  Gérer et optimiser l’orchestration des workflows avec Apache Airflow.

  Participer à la montée en compétence des data Engineers, en partageant les bonnes pratiques et en assurant leur bonne prise en main.

  Collaborer avec les Product Owners pour comprendre les besoins d’analytics et valider la fiabilité des data assets avant leur publication.

Technologies & Outils

✅ Must-have :

• Expérience : au moins 5 années dans la conception de data plateforme et mise en place de data pipelines

• Langages : Python (pandas, pytest, pandera, FastAPI), SQL, Scala/Java

• Big Data & Processing: Hadoop, Spark, Hive, Impala

·        Orchestration & Observabilité: Airflow, Unit Testing, DBT, Docker, docker-compose

• CI/CD & Versioning: Gitlab

✨ Nice-to-have :

• Expérience avec le GenAI (RAG, LLM serving)

• Expérience sur le cloud (AWS, GCP, Azure)

• Connaissance des pratiques DevOps et MLOps

💡 Si vous êtes passionné(e) par la data et souhaitez évoluer dans le domaine du Data engineering, postulez ! 🚀 on sera ravi d’échanger avec vous