Vincent Heuschling | Devoxx

Vincent Heuschling
Vincent Heuschling Twitter

From Affini-Tech

Vincent Heuschling a fondé Affini-Tech, à la suite d'un parcours professionnels auprès de grands constructeurs, de grandes société de services, et d'intégrateurs de solutions d'infrastructures. Fan de Data, il développe autour des plateformes Hadoop et Spark, ainsi que dans les environnements Cloud. Impliqué dans les communauté Hadoop User Group et Paris Data Geek, il est par ailleurs co-auteur du podcast Bigdatahebdo.

Blog: http://blog.affini-tech.com

cldops Cloud & DevOps

Quand DevOps rencontre BigData!

Hand's on Labs

Cette session est l’occasion de rapprocher le monde DevOps et le BigData! Venez découvrir Apache Spark à travers l'analyse de logs et de la détection d'anomalies de trames réseaux.

Chaque étape de ce lab (sauf le REPL) peut se faire en Java soit en Scala, à vous de choisir!

  • Après une introduction à Apache Spark, vous utiliserez le REPL d'Apache Spark en Scala pour manipuler les notions de bases.
  • Plus de serveurs, c'est aussi plus de logs à analyser. Vous analyserez les access logs d'Apache en calculant la répartition des codes http et le top N des navigateurs, des IP, ... à l'aide successivement de Spark, Spark SQL et Spark Streaming afin de voir les avantages de chacun.
  • Plus de serveurs, c'est aussi plus de problème réseaux. Venez découvrir comment détecter des anomalies de type ralentissement réseaux à travers l'analyse de trames réseaux avec Spark ML.
  • Les présentateurs feront une démo dans le cloud sur de plus grands volumes.
  • Enfin, vous pourrez déployer votre code sur le cluster Spark pour faire des tests à plus grande échelle.

Prérequis: JVM 8, Scala 2.11, Spark 1.3, Git 2, Maven 3.x, un IDE

Github: https://github.com/obazoud/devoxx-quand-devops-rencontre-bigdata