Le besoin Big Data doit être justifié par les volumes, la variété, la vélocité ou les contraintes de calcul. Une architecture data plus simple reste souvent préférable si elle couvre correctement le service attendu.
Missions principales
- Qualifier les volumes, débits, usages, niveaux de service et contraintes de coût.
- Concevoir les pipelines batch ou streaming et leurs modèles de données.
- Développer et optimiser les traitements distribués et les mécanismes de reprise.
- Mettre en place les tests de qualité, la traçabilité, la sécurité et l’observabilité.
- Industrialiser les déploiements et accompagner les équipes d’exploitation.