OZS-3019 Anatomie de l'infrastructure de prédiction @Criteo: machine learning, log management, Hadoop. | Devoxx

Anatomie de l'infrastructure de prédiction @Criteo: machine learning, log management, Hadoop.

Conference

bigd Big Data & Analytics

Neuilly 251

vendredi at 16:35 - 17:25

Criteo affiche 2 milliards de bannières par jour. Elles nécessitent 15 millions de prédictions par seconde, qui génèrent à leur tour 950GB de données (compressées) par heure. Ces données sont digérées sur Hadoop pour finalement y appliquer des algorithmes de machine learning qui génèrent 1700 modèles de prédiction par jour, utilisés pour les prédictions suivantes. La boucle est bouclée! Nous décrirons en détail l'infrastructure qui permet d'enchaîner les étapes de ce traitement. Son état actuel sera remis dans la perspective des difficultés rencontrées, et nous évoquerons les évolutions futures.

Jean-Baptiste Note Jean-Baptiste Note

Software Engineer @ Criteo

Laurent Vion Laurent Vion

Développeur chez Criteo depuis 5 ans, je travaille principalement sur l’infrastructure technique du composant de prédiction : distribution des calcul, déploiement des modèles, environnement de pré-production et de simulation …