DuyHai DOAN | Devoxx

DuyHai DOAN
DuyHai DOAN Twitter

From Datastax

Duy Hai est évangéliste technique pour Datastax, l’entreprise commerciale derrière Apache Cassandra.

Il partage son temps entre donner des présentations/meetups/talks sur Cassandra, développer sur des projets open-source pour la communauté et aider les projets utilisant Cassandra.

Avant Datastax, Duy Hai a été développeur freelance Java/Cassandra

Blog: https://github.com/doanduyhai/

bigd Big Data & Analytics

Algorithmes distribués pour le Big Data

Conference

Vous avez toujours entendu parler du Big Data, ces nouvelles technologies qui vont révolutionner nos vies. Mais savez vous que ces technologies reposent sur des théories ou résultats de recherche qui datent d'une décade déjà ?

Pendant cette session, nous allons découvrir en détail 2 algorithmes largement utilisés dans le monde du Big Data mais peu connus du grand public.

Compter de manière exacte dans un monde distribué est une tâche ardue, et requiert un stockage proportionnel à la taille de l'ensemble considéré. L'algorithme HyperLogLog propose plutôt une estimation avec un faible pourcentage d'erreur et un espace de stockage requis assez minuscule.

Quant aux systèmes distribués avec l'architecture maître/esclave, ils ont toujours été confrontés à la problématique d'élection d'un leader de manière fiable et éprouvée. Paxos, un algorithme de consensus distribué, est une solution élégante et mathématiquement prouvée pour résoudre ce casse-tête.

bigd Big Data & Analytics

Un Spotify à la maison avec Spark & Cassandra

Hand's on Labs

Nous vous proposons de construire un catalogue musical en ligne en utilisant Spark et Cassandra.

Spark est le framework de prédilection pour faire du traitement et de l'analyse de données big data. Cassandra est la base de données NoSQL hautement scalable et performante.

En combinant ces 2 technologies, nous allons construire pas à pas un catalogue musical avec un moteur d'analyse statistique ainsi qu'un petit moteur de recommandation en utilisant l'approche Collaborative Filtering.

Note: le hands-on peut se faire en Scala ou en Java 8