Big data en pratique avec Spark

Tout le monde semble être actif avec AI, Data Science et "big data" aujourd'hui. Vous voulez sans doute aussi interroger vos sources volumineuses de données (click streams, social media, données relationnelles, données dans le "cloud", données capteurs, ...) et vous rencontrez des limitations avec les data-tools classiques. Dans ce cas, vous avez peut-être besoin de la puissance d'un cluster --et ses capacités de traitement en parallèle-- pour interroger vos dépôts de données distribuées.

Dans le cas où "fast prototyping" et la vitesse de traitement sont prioritaires, vous tombez sûrement sur Spark. Apache Spark est une plate-forme open source qui se concentre surtout sur la vitesse, la facilité d'utilisation, la flexibilité et les algorithmes analytiques. Spark est une alternative pour l'approche MapReduce de Hadoop avec Hive (cf notre cours Big data en pratique avec Hadoop). Spark a complimenté, même remplacé Hadoop, à cause d'un plus haut niveau d'abstraction des API de Spark et sa possibilité de traitement au mémoire qui accélère les procès.

Plus spécifiquement, Spark nous laisse interroger facilement les sources de données sur HDFS, dans une base de données NoSQL (p.ex. Cassandra ou HBase), dans une base de données relationelle, dans le "cloud" (p.ex. AWS S3) ou dans des fichiers locals. A part de ceci, une activité Spark peut facilement être lancée sur soit la machine locale (donc en mode de développement), soit sur un cluster Hadoop (avec Yarn), soit sur une environnement Mesos, ou Kubernetes, ou dans le cloud. Et tout ça à travers un petit script Spark ou bien une programme (Java ou Python) un peu plus complexe, ou bien à travers une interface web (p.ex. Zeppelin ou Databricks).

Ce cours se fonde sur les sujets traités dans L'architecture et l'infrastructure Big Data. On se mettra au travail sur Linux avec Spark et ses bibliothèques. Vous apprenez comment implémenter une analyse robuste des données (en utilisant Python, Scala, ou R) avec un interface de style SQL.

À la fin de ce cours, le participant aura acquis suffisamment d'expertise de base pour configurer un environnement de développement Spark ou Databricks, et l'utiliser pour interroger vos données. On sera aussi capable d'écrire des programmes simples sur Spark (en utilisant soit PySpark qui utilise Python, ou bien en utilisant Scala avec Spark-shell), basées sur des Data Frames et des RDD, optionnellement utilisant les bibliothèques MLlib, GraphX et Streaming.