Hadoop pour les développeurs

Objectifs

  • Développer des applications de gestion et de traitement des données sur des cluster Hadoop
  • Définir et à développer des applications MapReduce(Yarn), Hive et Pig efficaces et pertinentes avec Hadoop
  • Exploiter toute la puissance d'Hadoop pour manipulation, analyse et exécution des calculs sur leur cluster Hadoop
  • A distance / Presentiel
  • Code: IBD74
  • 4 Jours (28 Heures)
  • 2 690 € (HT)
  • Cette thématique vous intéresse ? Nos équipes d'experts, de concepteurs pédagogiques et de chefs de projet mettent en place pour vous et avec vous des dispositifs innovants, en présentiel et en digital.

Programme Détaillé

Développeurs travaillant sur des données issues du Big Data
Les technologies Hadoop et leur implémentation
Fonctionnement de « Hadoop Distributed File System » et «MapReduce »
Principes de développement d'applications « MapReduce »
Exemples d’utilisation dans différents secteurs
HDFS : interfaçage avec Java
Le système de fichier Hadoop Distributed File System (HDFS)
Lecture et écriture sur le HDFS
Manipulation des types de fichier SequenceFile
Qu’est-ce que le DistributedCache et comment partager les références ?
MapReduce/Yarn : principe et développement Java
Le paradigme MapReduce et l’utilisation à travers YARN
Implémentation de problématiques réelles avec le paradigme MapReduce
Implémentation de problématiques plus complexes
Utilisation des combinateurs et partitionners
Les bonnes pratiques pour le développement des applications MapReduce
Manipulation des données avec un query language et Java
Présentation et fonctionnement de HBase, Hive et Pig
HBase et Hive : JDBC et requêtes
Extension du HiveQL avec des fonctionnalités développées : UDF (User-Defined Functions)
Pig : Développement et intégration avec JAVA
Extension de Pig avec des fonctionnalités développées : UDF (User-Defined Functions)
expérience dans le développement (si possible avec Java), la bonne compréhension des algorithmes est un plus
Consultant-formateur expert big data et développement
Les sessions "A distance" sont réalisées avec l'outil de visioconférence Teams, permettant au formateur d'adapter sa pédagogie.

Nos formateurs DEMOS sont recrutés conformément aux spécifications mentionnées pour chaque formation. Ce sont des professionnels en activité et/ou des experts dans leur domaine. Ils utilisent des méthodes et outils appropriés aux formations qu’ils dispensent et adaptent leur pédagogie au public accueilli.

Avant la formation : IMPLIQUER
Questionnaire pré-formation et/ou recueil des besoins pour préciser les attentes individuelles, à l’entrée en formation.
Pendant la formation : APPLIQUER
Méthodes actives et participatives, apports théoriques (10%), mises en pratique (70%) et échanges (20%)
Elaboration de son plan d’actions personnalisé
Après la formation : ACCOMPAGNER
Les conseillers formation sont à votre disposition si vous avez besoin de précisions.

SUIVI & EVALUATION
Pour assurer un suivi individuel, Demos a mis en place 2 types d’évaluation :
Une évaluation de compétences en ligne en début et en fin de formation qui peut prendre différentes formes selon le contenu de la formation suivie : Tests d’évaluation des acquis, cas pratiques, mises en situation, soutenance devant un jury pour les formations à finalité certifiante.
Une évaluation de la satisfaction de chaque stagiaire est réalisée en ligne. Cette évaluation est complétée par l’appréciation du formateur à l’issue de chaque session.