CDILyon, France
Data Engineer PySpark confirmé, équipe AILP / Branchements - 5 ans d'xp min - LYON
Hybride
L’équipe développe et exploite des produits data liés aux activités de branchement et à la gestion des adresses.
Le Data Engineer interviendra sur des pipelines PySpark traitant plusieurs dizaines de millions de lignes. Les traitements contribuent notamment à maintenir des données de qualité autour de plus de 25 millions d’adresses et de plus de 40 millions de clients.
La mission s’inscrit dans un contexte de développement produit, de maintien en conditions opérationnelles et de migration progressive vers Databricks.
La personne retenue travaillera avec les Data Scientists, le Tech Lead, le DevOps et les équipes métiers.
Objectifs de la mission
La mission vise à :
Concevoir, développer et maintenir des pipelines de données massives.
Optimiser les traitements PySpark existants.
Mettre à disposition des données fiables dans le datalake d’entreprise.
Participer au run, à la supervision et à la gestion des incidents en production.
Améliorer les contrôles de qualité des données et les indicateurs de suivi.
Accompagner l’industrialisation des travaux réalisés par les Data Scientists.
Contribuer à la préparation et à la réalisation de la migration vers Databricks.
Apporter un conseil technique à l’équipe sur les architectures et les pratiques de Data Engineering.
Activités principales
Développement et optimisation des pipelines
Concevoir et développer des pipelines PySpark traitant de gros volumes de données.
Maintenir et faire évoluer les chaînes de traitement existantes.
Corriger les anomalies rencontrées en production.
Optimiser les performances et la consommation des ressources.
Préparer les traitements pour leur exécution dans des environnements de test, préproduction et production.
Mettre à jour la documentation technique et fonctionnelle associée.
Supervision et exploitation
Mettre en place des outils de supervision technique et de suivi de la qualité des données.
Construire les tableaux de bord nécessaires au suivi des traitements.
Participer au run des produits en production.
Analyser régulièrement les indicateurs de performance.
Contribuer à la gestion et à la résolution des incidents.
Architecture et accompagnement
Proposer des architectures de traitements et de modèles de données.
Participer à la rédaction des dossiers techniques, d’urbanisme et d’architecture.
Accompagner les Data Scientists dans l’industrialisation de leurs développements.
Contribuer à la définition de la roadmap d’industrialisation.
Conseiller l’équipe sur les choix techniques et les pratiques de développement.
Migration vers Databricks
Tester les pipelines sur un environnement Databricks.
Préparer les schémas et supports de migration.
Adapter les traitements aux contraintes du cloud.
Participer à la migration effective des traitements.
Stack technique
Python /PySpark / Spark / Hadoop / HDFS / Databricks / Delta Lake / Airflow / PostgreSQL / GitLab / GitLab CI/CD / Jira / Confluence / Power BI
L’environnement actuel repose principalement sur Hadoop / HDFS. La cible prévoit une utilisation accrue de Databricks et Delta Lake à partir de 2027.
Compétences indispensables
Minimum 5 ans d’expérience en Data Engineering.
Expérience significative en PySpark et sur des traitements de gros volumes.
Expérience de Spark en production, sur Databricks et/ou Hadoop.
Maîtrise du monitoring, du run, de la gestion des incidents et de la qualité des données.
Bonne maîtrise de Python, SQL et des pratiques CI/CD.
Autonomie, rigueur et bonnes capacités de communication.
Une expérience sur les données d’adresses ou les données spatiales est un plus.
Informations de la mission :
Le Data Engineer interviendra sur des pipelines PySpark traitant plusieurs dizaines de millions de lignes. Les traitements contribuent notamment à maintenir des données de qualité autour de plus de 25 millions d’adresses et de plus de 40 millions de clients.
La mission s’inscrit dans un contexte de développement produit, de maintien en conditions opérationnelles et de migration progressive vers Databricks.
La personne retenue travaillera avec les Data Scientists, le Tech Lead, le DevOps et les équipes métiers.
Objectifs de la mission
La mission vise à :
Concevoir, développer et maintenir des pipelines de données massives.
Optimiser les traitements PySpark existants.
Mettre à disposition des données fiables dans le datalake d’entreprise.
Participer au run, à la supervision et à la gestion des incidents en production.
Améliorer les contrôles de qualité des données et les indicateurs de suivi.
Accompagner l’industrialisation des travaux réalisés par les Data Scientists.
Contribuer à la préparation et à la réalisation de la migration vers Databricks.
Apporter un conseil technique à l’équipe sur les architectures et les pratiques de Data Engineering.
Activités principales
Développement et optimisation des pipelines
Concevoir et développer des pipelines PySpark traitant de gros volumes de données.
Maintenir et faire évoluer les chaînes de traitement existantes.
Corriger les anomalies rencontrées en production.
Optimiser les performances et la consommation des ressources.
Préparer les traitements pour leur exécution dans des environnements de test, préproduction et production.
Mettre à jour la documentation technique et fonctionnelle associée.
Supervision et exploitation
Mettre en place des outils de supervision technique et de suivi de la qualité des données.
Construire les tableaux de bord nécessaires au suivi des traitements.
Participer au run des produits en production.
Analyser régulièrement les indicateurs de performance.
Contribuer à la gestion et à la résolution des incidents.
Architecture et accompagnement
Proposer des architectures de traitements et de modèles de données.
Participer à la rédaction des dossiers techniques, d’urbanisme et d’architecture.
Accompagner les Data Scientists dans l’industrialisation de leurs développements.
Contribuer à la définition de la roadmap d’industrialisation.
Conseiller l’équipe sur les choix techniques et les pratiques de développement.
Migration vers Databricks
Tester les pipelines sur un environnement Databricks.
Préparer les schémas et supports de migration.
Adapter les traitements aux contraintes du cloud.
Participer à la migration effective des traitements.
Stack technique
Python /PySpark / Spark / Hadoop / HDFS / Databricks / Delta Lake / Airflow / PostgreSQL / GitLab / GitLab CI/CD / Jira / Confluence / Power BI
L’environnement actuel repose principalement sur Hadoop / HDFS. La cible prévoit une utilisation accrue de Databricks et Delta Lake à partir de 2027.
Compétences indispensables
Minimum 5 ans d’expérience en Data Engineering.
Expérience significative en PySpark et sur des traitements de gros volumes.
Expérience de Spark en production, sur Databricks et/ou Hadoop.
Maîtrise du monitoring, du run, de la gestion des incidents et de la qualité des données.
Bonne maîtrise de Python, SQL et des pratiques CI/CD.
Autonomie, rigueur et bonnes capacités de communication.
Une expérience sur les données d’adresses ou les données spatiales est un plus.
Informations de la mission :
- Début de mission : 07/12/2026
- Durée : 6 mois
- Date de publication : 12/11/2026
- Date limite de candidature : 17/11/2026
Compétences recherchées
Python (Indispensable)PySpark (Indispensable)Spark (Indispensable)Hadoop (Indispensable)HDFS (Indispensable)Databricks (Indispensable)Delta Lake (Indispensable)Airflow (Indispensable)PostgreSQL (Indispensable)SQL (Indispensable)GitLab (Indispensable)GitLab CI/CD (Indispensable)Jira (Indispensable)Confluence (Indispensable)Power BI (Indispensable)Data Engineering (Indispensable)Monitoring (Indispensable)
Intéressé(e) ?
Rejoignez l'équipe et participez à nos projets ambitieux.
