QTQ-9573 Quand DevOps rencontre BigData! | Devoxx

Quand DevOps rencontre BigData!

Hand's on Labs

cldops Cloud & DevOps

Paris 242B Lab

mercredi at 09:30 - 12:30

Cette session est l’occasion de rapprocher le monde DevOps et le BigData! Venez découvrir Apache Spark à travers l'analyse de logs et de la détection d'anomalies de trames réseaux.

Chaque étape de ce lab (sauf le REPL) peut se faire en Java soit en Scala, à vous de choisir!

  • Après une introduction à Apache Spark, vous utiliserez le REPL d'Apache Spark en Scala pour manipuler les notions de bases.
  • Plus de serveurs, c'est aussi plus de logs à analyser. Vous analyserez les access logs d'Apache en calculant la répartition des codes http et le top N des navigateurs, des IP, ... à l'aide successivement de Spark, Spark SQL et Spark Streaming afin de voir les avantages de chacun.
  • Plus de serveurs, c'est aussi plus de problème réseaux. Venez découvrir comment détecter des anomalies de type ralentissement réseaux à travers l'analyse de trames réseaux avec Spark ML.
  • Les présentateurs feront une démo dans le cloud sur de plus grands volumes.
  • Enfin, vous pourrez déployer votre code sur le cluster Spark pour faire des tests à plus grande échelle.

Prérequis: JVM 8, Scala 2.11, Spark 1.3, Git 2, Maven 3.x, un IDE

Github: https://github.com/obazoud/devoxx-quand-devops-rencontre-bigdata

Olivier Bazoud Olivier Bazoud

Fort de son expérience, Olivier est développeur sénior, sysadmin et en charge de l'accompagnement DevOps (simplification, gestion de configuration, gestion des logs, monitoring, alerting, ...). Olivier est également un développeur full-stack web (javaee, spring, nodejs, js, nosql, ...). Et il est co-auteur du livre "Spring Batch in Action" aux éditions Manning.

Vincent Heuschling Vincent Heuschling

Vincent Heuschling a fondé Affini-Tech, à la suite d'un parcours professionnels auprès de grands constructeurs, de grandes société de services, et d'intégrateurs de solutions d'infrastructures. Fan de Data, il développe autour des plateformes Hadoop et Spark, ainsi que dans les environnements Cloud. Impliqué dans les communauté Hadoop User Group et Paris Data Geek, il est par ailleurs co-auteur du podcast Bigdatahebdo.