Olivier Bazoud | Devoxx

Olivier Bazoud
Olivier Bazoud Twitter

Fort de son expérience, Olivier est développeur sénior, sysadmin et en charge de l'accompagnement DevOps (simplification, gestion de configuration, gestion des logs, monitoring, alerting, ...). Olivier est également un développeur full-stack web (javaee, spring, nodejs, js, nosql, ...). Et il est co-auteur du livre "Spring Batch in Action" aux éditions Manning.

Blog: https://fr.linkedin.com/in/olivierbazoud

cldops Cloud & DevOps

Quand DevOps rencontre BigData!

Hand's on Labs

Cette session est l’occasion de rapprocher le monde DevOps et le BigData! Venez découvrir Apache Spark à travers l'analyse de logs et de la détection d'anomalies de trames réseaux.

Chaque étape de ce lab (sauf le REPL) peut se faire en Java soit en Scala, à vous de choisir!

  • Après une introduction à Apache Spark, vous utiliserez le REPL d'Apache Spark en Scala pour manipuler les notions de bases.
  • Plus de serveurs, c'est aussi plus de logs à analyser. Vous analyserez les access logs d'Apache en calculant la répartition des codes http et le top N des navigateurs, des IP, ... à l'aide successivement de Spark, Spark SQL et Spark Streaming afin de voir les avantages de chacun.
  • Plus de serveurs, c'est aussi plus de problème réseaux. Venez découvrir comment détecter des anomalies de type ralentissement réseaux à travers l'analyse de trames réseaux avec Spark ML.
  • Les présentateurs feront une démo dans le cloud sur de plus grands volumes.
  • Enfin, vous pourrez déployer votre code sur le cluster Spark pour faire des tests à plus grande échelle.

Prérequis: JVM 8, Scala 2.11, Spark 1.3, Git 2, Maven 3.x, un IDE

Github: https://github.com/obazoud/devoxx-quand-devops-rencontre-bigdata