Analyse de données et Machine Learning avec Spark en Python
Objectifs
- comprendre le principe de fonctionnement d’Apache Spark
- utiliser PySpark pour manipuler des données avec Python
- traiter les flux de données en temps réel avec Spark Streaming
Programme Détaillé
Introduction au big data
Découvrir l’environnement Spark
Utilisation Spark : Quels avantages ?
Comment installer Apache Spark
Quelle infrastructure pour utiliser Spark en entreprise ?
Les principes et fonctionnement de l'environnement Spark : RDD, DataFrame, DataSet...
Manipuler des données avec Python, Pyspark
Utilisation de SparkSQL et des DataFrames pour manipuler des données
Bonnes pratiques de Spark pour la manipulation de volume important de données
Architecture et composants de la plateforme Hadoop
Transformer des données (création de DataFrames, ajout de colonnes, filtres...)
Cas pratiques de chargement et de modifications de données avec PySpark
Comprendre MLlib avec les principaux algorithmes d’apprentissage et méthodes statistiques (régression, discrimination, foret aléatoires, etc.)
Traitement de données textuelles
Automatiser vos analyses avec des pipelines
Principe de fonctionnement
Présentation des Discretized Streams
Les différents types de sources
Manipulation de l’API
Comparaison avec Apache Storm
Les entreprises Google, Facebook, Netflix, Airbnb, Amazon, la NASA et bien d’autres encore utilisent la technologie Spark pour le traitement de très gros volumes de données.
La capacité d’analyser d’énormes quantités de données est une compétence incontournable à l’heure de l’Intelligence Artificielle et de la Data Science.
Le cours présente Spark DataFrames en s’appuyant sur le langage Python avec la bibliothèque PySpark, la bibliothèque Machine Learning MLlib ainsi que les technologies Spark SQL, Spark Streaming.
Nos formateurs DEMOS sont recrutés conformément aux spécifications mentionnées pour chaque formation. Ce sont des professionnels en activité et/ou des experts dans leur domaine. Ils utilisent des méthodes et outils appropriés aux formations qu’ils dispensent et adaptent leur pédagogie au public accueilli.
Avant la formation : IMPLIQUER
Questionnaire pré-formation et/ou recueil des besoins pour préciser les attentes individuelles, à l’entrée en formation.
Pendant la formation : APPLIQUER
Méthodes actives et participatives, apports théoriques (10%), mises en pratique (70%) et échanges (20%)
Elaboration de son plan d’actions personnalisé
Après la formation : ACCOMPAGNER
Les conseillers formation sont à votre disposition si vous avez besoin de précisions.
SUIVI & EVALUATION
Pour assurer un suivi individuel, Demos a mis en place 2 types d’évaluation :
Une évaluation de compétences en ligne en début et en fin de formation qui peut prendre différentes formes selon le contenu de la formation suivie : Tests d’évaluation des acquis, cas pratiques, mises en situation, soutenance devant un jury pour les formations à finalité certifiante.
Une évaluation de la satisfaction de chaque stagiaire est réalisée en ligne. Cette évaluation est complétée par l’appréciation du formateur à l’issue de chaque session.
