Laurent Vion | Devoxx

Laurent Vion
Laurent Vion

From Criteo

Développeur chez Criteo depuis 5 ans, je travaille principalement sur l’infrastructure technique du composant de prédiction : distribution des calcul, déploiement des modèles, environnement de pré-production et de simulation …

bigd Big Data & Analytics

Anatomie de l'infrastructure de prédiction @Criteo: machine learning, log management, Hadoop.

Conference

Criteo affiche 2 milliards de bannières par jour. Elles nécessitent 15 millions de prédictions par seconde, qui génèrent à leur tour 950GB de données (compressées) par heure. Ces données sont digérées sur Hadoop pour finalement y appliquer des algorithmes de machine learning qui génèrent 1700 modèles de prédiction par jour, utilisés pour les prédictions suivantes. La boucle est bouclée! Nous décrirons en détail l'infrastructure qui permet d'enchaîner les étapes de ce traitement. Son état actuel sera remis dans la perspective des difficultés rencontrées, et nous évoquerons les évolutions futures.