CDIile de france (Hybride)
Data steward data quality : data quality, llm
Hybride
Data Steward / Data Quality avec 5 ans d'exp minimum
Descriptif de la mission :
La mission porte sur la fiabilisation des données : détecter, diagnostiquer et corriger automatiquement les erreurs, avec un niveau de confiance mesurable pour chaque correction.
Activités principales
- Fiabilisation des adresses : normalisation et matching d'adresses (croisement avec des référentiels client)
- Génération de données synthétiques pour constituer des jeux de test réalistes et reproductibles, sans exposition de données réelles.
- Développement et orchestration d'un pipeline hybride de détection et de correction des erreurs (NER + LLM + RegEx), avec attribution d'un niveau de fiabilité à chaque correction.
- Extraction de champs depuis des documents via LLM / VLM, avec évaluation régulière des sorties sur un échantillon de contrôle (comparaison aux valeurs attendues, identification des cas d'échec récurrents).
- Développement des contrôles et du post-traitement des réponses et hallucinations du LLM / VLM (validation du format, valeurs hors référentiel, réponses mal formées).
- Analyse de biais : mesure de la répartition des erreurs selon les variables sensibles.
Pratiques/ Méthodologies
- Investigation et diagnostic des problèmes de qualité : remonter à la cause racine avant de corriger.
- Prompt engineering : itérations et évaluation des prompts sur échantillon de référence (format de sortie, non-invention de valeurs).
- Traçabilité des exécutions : journalisation des cas traités et des sorties modèle.
- Mesure systématique de la précision avant toute validation d'une correction automatique.
- Documentation des notebooks et des choix de conception (pourquoi telle méthode plutôt qu'une autre).
- Traitement par lots avec reprise sur incident : contrainte des quotas API, exécutions longues à reprendre sans tout relancer.
Environnements et outils :
Environnement : Python, GitLab
Bases de données et stockage : MinIO
Rapprochement texte : re (expressions régulières), FuzzyWuzzy
NLP : NER avec Flair (HuggingFace)
LLM / VLM : OpenAI
Données synthétiques : CTGAN, Faker
Analyse de biais : Fairlearn (MetricFrame)
Informations de la mission :
Descriptif de la mission :
La mission porte sur la fiabilisation des données : détecter, diagnostiquer et corriger automatiquement les erreurs, avec un niveau de confiance mesurable pour chaque correction.
Activités principales
- Fiabilisation des adresses : normalisation et matching d'adresses (croisement avec des référentiels client)
- Génération de données synthétiques pour constituer des jeux de test réalistes et reproductibles, sans exposition de données réelles.
- Développement et orchestration d'un pipeline hybride de détection et de correction des erreurs (NER + LLM + RegEx), avec attribution d'un niveau de fiabilité à chaque correction.
- Extraction de champs depuis des documents via LLM / VLM, avec évaluation régulière des sorties sur un échantillon de contrôle (comparaison aux valeurs attendues, identification des cas d'échec récurrents).
- Développement des contrôles et du post-traitement des réponses et hallucinations du LLM / VLM (validation du format, valeurs hors référentiel, réponses mal formées).
- Analyse de biais : mesure de la répartition des erreurs selon les variables sensibles.
Pratiques/ Méthodologies
- Investigation et diagnostic des problèmes de qualité : remonter à la cause racine avant de corriger.
- Prompt engineering : itérations et évaluation des prompts sur échantillon de référence (format de sortie, non-invention de valeurs).
- Traçabilité des exécutions : journalisation des cas traités et des sorties modèle.
- Mesure systématique de la précision avant toute validation d'une correction automatique.
- Documentation des notebooks et des choix de conception (pourquoi telle méthode plutôt qu'une autre).
- Traitement par lots avec reprise sur incident : contrainte des quotas API, exécutions longues à reprendre sans tout relancer.
Environnements et outils :
Environnement : Python, GitLab
Bases de données et stockage : MinIO
Rapprochement texte : re (expressions régulières), FuzzyWuzzy
NLP : NER avec Flair (HuggingFace)
LLM / VLM : OpenAI
Données synthétiques : CTGAN, Faker
Analyse de biais : Fairlearn (MetricFrame)
Informations de la mission :
- Début de mission : 19/10/2026
- Durée : 12 mois
- Date de publication : 29/09/2026 16:18:15
Compétences recherchées
Python (Indispensable)GitLab (Indispensable)MinIO (Indispensable)FuzzyWuzzy (Indispensable)NER (Indispensable)Flair (Indispensable)HuggingFace (Indispensable)LLM (Indispensable)VLM (Indispensable)OpenAI (Indispensable)CTGAN (Indispensable)Faker (Indispensable)Fairlearn (Indispensable)MetricFrame (Indispensable)RegEx (Indispensable)re (Indispensable)Data Quality (Indispensable)IA (Indispensable)
Intéressé(e) ?
Rejoignez l'équipe et participez à nos projets ambitieux.