Monitoring IA — Spiribase
Résumé exécutif
Ce document décrit le dispositif de surveillance de la qualité, des biais et des incidents liés aux modules IA de Spiribase, conformément aux exigences de l'AI Act Art. 9 et Art. 72 (post-market monitoring).
Contexte réglementaire
- AI Act Art. 9 — Système de gestion des risques (surveillance continue)
- AI Act Art. 72 — Surveillance post-commercialisation
- AI Act Art. 73 — Signalement d'incidents graves
- CNIL IA : https://www.cnil.fr/fr/technologies/intelligence-artificielle-ia
US-175 — Gestion des incidents IA
Typologie des incidents IA
| Catégorie | Exemples | Escalade | Délai traitement |
|---|---|---|---|
| Biais détecté | Score systématiquement différent selon genre/origine | Comité IA + CNIL si grave | 48h |
| Hallucination | Informations fausses dans un rapport de matching | Référent IA | 24h |
| Discrimination | Rejet automatique injustifié | Direction + CNIL obligatoire | Immédiat |
| Erreur technique | Score incohérent, crash LLM | Support technique | 4h |
| Violation données | Fuite de données candidats | Voir security.md | 72h (CNIL) |
Processus de traitement
- Signalement (utilisateur, monitoring automatique, ou recruteur)
- Qualification par le Référent IA
- Escalade si nécessaire (comité IA, direction, CNIL)
- Correction et documentation
- Vérification post-correction
US-179 — Mesure de précision IA
Métriques de qualité à suivre
| Métrique | Description | Seuil d'alerte | Fréquence mesure |
|---|---|---|---|
| Taux de validation sans modification | % scores IA acceptés tels quels | < 60% (dérive possible) | Mensuel |
| Taux de correction IA | % recommandations modifiées par recruteurs | > 40% (modèle à revoir) | Mensuel |
| Cohérence des scores | Écart type des scores pour profils similaires | > 15 points | Trimestriel |
| Taux d'erreur parsing CV | % CV mal parsés (champs manquants critiques) | > 5% | Hebdomadaire |
| Latence des appels LLM | Temps de réponse moyen | > 10s (dégradation UX) | Temps réel |
| Taux de fallback provider | % appels ne passant pas par le provider principal | > 20% | Quotidien |
GAP identifié
Ces métriques ne sont pas encore collectées systématiquement. Un tableau de bord de monitoring IA est à implémenter.
US-180 — Surveillance post-production IA
KPIs de surveillance (à implémenter)
- Distribution des scores de matching (histogramme — détection dérive)
- Taux d'utilisation par module IA
- Volume d'appels LLM par fournisseur
- Alertes sur anomalies de scores (seuils configurables)
- Revue mensuelle avec le comité IA
Infrastructure de monitoring actuelle (audit code)
- Logs applicatifs via console (niveau WARNING/ERROR dans AIClient)
- Gestion des erreurs par cascade provider (non mesuré)
- Aucun dashboard de monitoring IA dédié en place
US-181 — Gestion des réclamations IA
Canal de signalement
Les recruteurs et candidats peuvent signaler une erreur ou un biais IA :
- Email : kamel@spiritek.io (Référent IA)
- Formulaire de réclamation (à implémenter dans l'interface)
Processus de traitement
- Réception et accusé de réception (24h)
- Qualification : erreur technique, biais, hallucination ?
- Revue humaine par le Référent IA
- Réponse au signalant avec explication et action corrective
- Documentation et statistiques
KPIs réclamations (à mesurer)
- Nombre de signalements par mois
- Délai moyen de traitement
- Taux de résolution
- Nature des réclamations (biais / erreur / autre)
US-196 — Suivi des hallucinations IA
Définition
Une hallucination IA est une information générée par le LLM qui est factuellement incorrecte ou inventée (ex : compétence que le candidat ne possède pas, expérience inexistante).
Mécanisme de signalement (à implémenter)
Bouton "Signaler une erreur IA" sur chaque rapport de matching et parsing CV permettant au recruteur de :
- Identifier le champ ou la section erronée
- Indiquer la nature de l'erreur (hallucination, biais, incohérence)
- Soumettre le signalement au Référent IA
KPIs hallucinations
- Taux de signalement par module IA
- Fréquence des hallucinations par type (parsing vs matching)
- Corrélation avec le fournisseur LLM utilisé (OpenAI vs Anthropic vs Gemini)
Responsables
- Kamel Msaoubi — kamel@spiritek.io — Référent IA & DPO technique
- Nader Laroussi — nader@spiritek.io — Responsable conformité IA
Historique des versions
| Version | Date | Auteur | Modifications |
|---|---|---|---|
| 1.0.0 | 2026-03-23 | K. Msaoubi / N. Laroussi | Création initiale Sprint 9 |