Dans le cadre de l’accompagnement de notre client, nous recherchons un Data Engineer Senior pour rejoindre le pôle Data Services.
Vous interviendrez sur la conception, l’industrialisation et l’évolution des solutions Data, avec un rôle clé dans les choix d’architecture et le développement des infrastructures de traitement des données.
Vous contribuerez notamment à la stratégie Lakehouse de l’entreprise, en veillant à la performance, à la fiabilité et à la qualité des flux de données.
Vos missions :
Concevoir, développer et optimiser des pipelines de données à grande échelle ;
Mettre en œuvre des flux de données batch, streaming et des mécanismes d’ingestion via API ;
Structurer les transformations de données selon le modèle Médaillon (Bronze / Silver / Gold) ;
Développer et industrialiser les pipelines avec DBT, Spark et Apache Iceberg ;
Participer à la conception et à l’évolution de l’architecture Lakehouse ;
Déployer et maintenir les pipelines dans un environnement Cloud AWS ;
Orchestrer les workflows ETL/ELT avec Airflow ;
Mettre en œuvre l’Infrastructure as Code avec Terraform ;
Exécuter et superviser les traitements dans des environnements conteneurisés (Docker, Kubernetes) ;
Garantir la disponibilité, la supervision et l’observabilité des traitements ;
Définir et appliquer les règles de qualité des données : tests, contrôles et validations automatisées ;
Participer à la gestion des incidents et à l’amélioration continue ;
Documenter les architectures, les pipelines et les règles métier ;
Veiller à la conformité des flux de données, notamment au regard du RGPD.
Votre profil
Vous justifiez d'au moins 8 ans d'expérience en Data Engineering et disposez d'une solide expertise dans les architectures Big Data et Lakehouse.
Vous maîtrisez impérativement les technologies suivantes :
DBT
Apache Iceberg
AWS : Glue, EMR, S3…
Python
Apache Spark
Modélisation Médaillon (Bronze / Silver / Gold)
Vous avez également des connaissances sur les environnements et outils suivants :
Terraform
Datadog
Airflow
Trino / Starburst
Docker et Kubernetes
Au-delà de vos compétences techniques, vous êtes reconnu(e) pour votre capacité d'analyse, votre autonomie et votre rigueur. Vous savez comprendre les enjeux métiers, prendre du recul sur les choix d'architecture et être force de proposition dans une démarche d'amélioration continue.