CDIPARIS CENTRE
Developpeur pyspark : pyspark, python
Hybride
Intervention au sein d’une équipe de TMA : Maintenance évolutive et corrective du périmètre de la préparation des données.
Impératif : 2 ans d’expérience minimum en PySpark (mission post stages).
? Préparation de données sur pySpark,
? Exposition des résultats sur Hive,
? Orchestration des traitements avec Oozie et quelques fois des récupérations de données de bases relationnelles via Scoop,
? Export des données SESAME sous Oracle vers Hive, utilisation de Scoop pour la gestion des connexions, gestion des configurations sous JDBC,
? Mise en œuvre de pré-traitements des données via du scripting shell,
? Création et alimentation de nouveaux Datamarts en réponse aux besoins diversifiés des équipes Métiers,
? Création de jointures sur Elasticsearch pour la création et l’alimentation des Datamarts,
? Intervention en mode Agile, participation aux daily meetings avec les Product Owners
? Participation bimensuelle aux réunions de travail avec les Métiers (suivi des travaux en cours et planification des sprints)
? Appétence pour monter en compétences fonctionnellement sur le périmlètre de données financières
Informations de la mission :
Impératif : 2 ans d’expérience minimum en PySpark (mission post stages).
? Préparation de données sur pySpark,
? Exposition des résultats sur Hive,
? Orchestration des traitements avec Oozie et quelques fois des récupérations de données de bases relationnelles via Scoop,
? Export des données SESAME sous Oracle vers Hive, utilisation de Scoop pour la gestion des connexions, gestion des configurations sous JDBC,
? Mise en œuvre de pré-traitements des données via du scripting shell,
? Création et alimentation de nouveaux Datamarts en réponse aux besoins diversifiés des équipes Métiers,
? Création de jointures sur Elasticsearch pour la création et l’alimentation des Datamarts,
? Intervention en mode Agile, participation aux daily meetings avec les Product Owners
? Participation bimensuelle aux réunions de travail avec les Métiers (suivi des travaux en cours et planification des sprints)
? Appétence pour monter en compétences fonctionnellement sur le périmlètre de données financières
Informations de la mission :
- Début de mission : 12/10/2026
- Durée : 24 mois
- Date de publication : 16/09/2026 11:14:44
Compétences recherchées
PySpark (Indispensable)Python (Indispensable)Spark (Indispensable)Hadoop (Indispensable)Hdfs (Indispensable)Hive (Indispensable)Oozie (Indispensable)Scoop (Indispensable)Oracle (Indispensable)JDBC (Indispensable)Shell (Indispensable)Elasticsearch (Indispensable)Git (Indispensable)Pyspark (Indispensable)Hadoop Hdfs (Indispensable)
Intéressé(e) ?
Rejoignez l'équipe et participez à nos projets ambitieux.