CDI92 Hauts-de-Seine
Data Engineer QA
Sur site
Notre Client recherche pour cette mission un Data Engineer QA
Les tâches au quotidien seront :
- Définir, mettre en œuvre et maintenir des règles de qualité des données et des cadres de validation (exhaustivité, cohérence, unicité, exactitude)
- Concevoir et intégrer des tests automatisés dans les pipelines ETL/ELT (tests unitaires, d'intégration, tests de régression pour les données)
- Concevoir, construire et améliorer les pipelines de données avec des contrôles de qualité intégrés et affirmations
- Mettre en œuvre des solutions d'observabilité et de surveillance des données (alertes, détection d'anomalies, Détection de la dérive des données)
- Analyser et résoudre les problèmes de qualité des données dans les environnements de production
- Valider les transformations de données et garantir leur conformité avec la logique métier et les exigences fonctionnelles
- Collaborer étroitement avec les ingénieurs de données, les analystes de données et les équipes commerciales pour définir les contrats de données et les critères d'acceptation
- Garantir la fiabilité de la production, notamment en surveillant les pipelines et en répondant aux incidents
- Promouvoir et appliquer les meilleures pratiques d'assurance qualité en ingénierie des données (automatisation des tests, Intégration CI/CD)
Les compétences requises pour cette mission sont :
- Justifier d'au moins 4/5 ans d'expérience professionnelle dans ce domaine
- Avoir de bonnes compétences avec Python et avec des Frameworks de validation de données et des bibliothèques de Test
- Disposer d'une bonne expérience avec les pipelines ETL/ELT et des pratiques de test intégrées
- Avoir une bonne expertise de Databricks et Spark y compris la validation des données a grande échelle
- Justifier de bonnes compétences avec SQL et ter capable de rédiger des requêtes de validation complexes
- Avoir déjà travailler dans un environnement Cloud AWS
- Avoir une bonne compréhension des pipelines CI/CD et des stratégies d'automatisation des tests de données plateformes
Informations de la mission :
Les tâches au quotidien seront :
- Définir, mettre en œuvre et maintenir des règles de qualité des données et des cadres de validation (exhaustivité, cohérence, unicité, exactitude)
- Concevoir et intégrer des tests automatisés dans les pipelines ETL/ELT (tests unitaires, d'intégration, tests de régression pour les données)
- Concevoir, construire et améliorer les pipelines de données avec des contrôles de qualité intégrés et affirmations
- Mettre en œuvre des solutions d'observabilité et de surveillance des données (alertes, détection d'anomalies, Détection de la dérive des données)
- Analyser et résoudre les problèmes de qualité des données dans les environnements de production
- Valider les transformations de données et garantir leur conformité avec la logique métier et les exigences fonctionnelles
- Collaborer étroitement avec les ingénieurs de données, les analystes de données et les équipes commerciales pour définir les contrats de données et les critères d'acceptation
- Garantir la fiabilité de la production, notamment en surveillant les pipelines et en répondant aux incidents
- Promouvoir et appliquer les meilleures pratiques d'assurance qualité en ingénierie des données (automatisation des tests, Intégration CI/CD)
Les compétences requises pour cette mission sont :
- Justifier d'au moins 4/5 ans d'expérience professionnelle dans ce domaine
- Avoir de bonnes compétences avec Python et avec des Frameworks de validation de données et des bibliothèques de Test
- Disposer d'une bonne expérience avec les pipelines ETL/ELT et des pratiques de test intégrées
- Avoir une bonne expertise de Databricks et Spark y compris la validation des données a grande échelle
- Justifier de bonnes compétences avec SQL et ter capable de rédiger des requêtes de validation complexes
- Avoir déjà travailler dans un environnement Cloud AWS
- Avoir une bonne compréhension des pipelines CI/CD et des stratégies d'automatisation des tests de données plateformes
Informations de la mission :
- Début de mission : Dès que possible
- Durée : 2.1 mois
- Date de publication : 25/05/26
- Date limite de candidature : 22/06/26
Compétences recherchées
Python (Indispensable)ELT/ETL<BR>Tests Intégrés (Indispensable)Databricks (Indispensable)Spark<BR>SQL (Indispensable)AWS (Indispensable)CI/CD<BR>Agile (Indispensable)Data Engineer QA (Indispensable)ELT/ETL Tests Intégrés (Indispensable)Spark SQL (Indispensable)CI/CD (Indispensable)Anglais lu (Apprécié)écrit (Apprécié)parlé (Indispensable)
Intéressé(e) ?
Rejoignez l'équipe et participez à nos projets ambitieux.