Cursus métier : Data Engineer
Au cœur de la stratégie Data, votre mission est de collecter, stocker, et traiter les données, afin de les mettre à disposition des analystes. Conscient des enjeux de la data et de l’IA pour l’entreprise, vous développez et mettez en place l’infrastructure technique et les solutions IT adaptées aux modèles de traitement de la data et répondant aux besoins des métiers.
Vous êtes le maillon indispensable entre l’architecte data et le data scientist, et permettez ainsi aux analystes d’accéder à des données fiables, sécurisées et de qualité.
Objectifs pédagogiques
- Alimenter et préparer les données pour les projets Data et IA
- Manipuler/exploiter les données présentes dans les différents types de bases de données
- Automatiser les traitements de données sur une infrastructure Big Data
- Industrialiser les traitements de données
Compétences ciblées
Analyse des besoins métier et mise œuvre d’une stratégie IA & Big Data :
- Veille technologique et stratégique : prise en compte des besoins métiers pour choisir l’environnement technologique adapté
- Analyse des besoins et cadrage de projet : conception des spécifications de la plateforme data.
Collecte et stockage des données :
- Mise en œuvre d’une méthodologie de collecte adaptée et développement des data pipelines pour la collecte et la transformation des données.
Traitement et exposition des données :
- Préparation de données de qualité, fiables et sécurisées, à destination des data scientists, data analysts et ingénieurs IA : développement des traitements en temps réels, automatisation des flux…
Déploiement d’une plateforme Big Data et maintenance
- Déploiement d’une plateforme IA & Big Data avec une approche DevOps et la méthode Agile : application des concepts agiles dans le développement, automatisation des phases d’intégration et de livraison selon la méthode DevOps, conteneurisation et orchestration des conteneurs.
Public ciblé
- Vous disposez d’un niveau VI (bac+3/4) scientifique ou technique, avec une première expérience professionnelle
- Vous disposez d’un niveau VII (bac+5) scientifique ou technique
- Vous avez un autre profil, que nous étudierons sur dossier.
Prérequis
- Vous avez une première expérience du développement informatique (tout langage), et des notions sur Linux,
- Vous avez une appétence pour le développement dans le domaine de la data,
- Vous avez une bonne compréhension de l’anglais écrit.
Modalités pédagogiques
- Un parcours à l’état de l’art conçu et animé par des experts de la Data
- Une formation centrée sur la pratique et l’entrainement, avec des cas d’usages concrets et récents, pour être immédiatement opérationnel. Les travaux pratiques couvrent une grande diversité de technologies.
- Sessions collectives en distanciel
- Travail tutoré en petit groupe et coaching sur la réalisation d’un projet de bout en bout
- Supports de formation accessibles sur une plateforme dédiée à la formation
- Rythme alterné de la formation
Modalités d’évaluation
Mise en situation professionnelle avec validation d’un dossier.
Modalité d’inscription
Pour en savoir plus, rendez-vous sur notre page d’inscription.
Pour voir si des sessions correspondent à vos disponibilités, rendez-vous sur notre page Calendrier.
Programme détaillé
- Accueil : 1er jour de formation (1 jour)
- Maîtrise du domaine du Big Data (2 jour)
- Maîtrise de la Dataviz (1 jour)
- Maitrise de l’IA (2 jours)
- Maitrise des système Linux (2 jours)
- Conteneurisation – Docker (2 jours)
- Data gouvernance (1 jour)
- Manipulation de BD relationnelles – PostGre SQL (4,5 jours)
- Développer en langage Python (4 jours)
- Fondamentaux du Cloud (2 jours)
- RGPD (1 jour)
- Traitement des données avec Scala (3 jours)
- Spark (3 jours)
- Collecte de données – Apache NIFI (2 jours)
- Collecte et traitement des données – DBT (2 jours)
- Manipulation BDD non relationnelles – MongoDB (2 jours)
- Manipulation de BDD orientées objet – BD MinIO (2 jours)
- Manipulation de données en temps réel – Spark Streaming (4 jours)
- Le moteur de recherche ElasticSearch – ELK (3 jours)
- Manipulation de données en temps réel – Kafka (3 jours)
- Data Ops (3 jours)
- Les méthodes Agiles (2 jours)
Un projet de bout en bout
Informations pratiques