Utiliser ChatGPT, Claude ou Copilot nous oblige à partager nos données avec les sociétés qui opèrent les modèlent correspondants.

Si on préfère garder le contrôle de ses données (ou qu'on y est obligé par la réglementation), on peut se tourner vers des modèles comme Llama, Mistral, Phi-3 ou encore Qwen, que l'on peut héberger en local ou sur des clusters Kubernetes, par exemple.

C'est ce qu'on va faire ensemble dans ce tutoriel ! On va :

• Créer une petite app d'IA générative avec Java et Spring AI
• Intégrer cette app avec un LLM local
• Déployer l'app et le LLM sur Kubernetes
• Passer l'app et le LLM à l'échelle grâce à une architecture asynchrone (avec des files de message)
• Se doter de métriques afin de pouvoir correctement dimensionner l'application (notamment au niveau des "requests" et "limits" CPU et mémoire dans Kubernetes)
• Mettre en place de l'auto-scaling avec ces métriques

Notre application de démo est écrite en Java, mais les concepts liés au déploiement et au passage à l'échelle de l'app et du LLM sont totalement indépendants du langage.

N'hésitez pas à nous rejoindre si vous n'avez que des bases en Java et souhaitez monter en compétence sur Kubernetes, ou même l'inverse!

Cette session est pour vous si vous :

- organisez des événements et que vous voulez savoir comment les rendre plus inclusifs;

- organisez des événements et que vous voulez partager vos recettes qui marchent;

- participez (ou souhaitez participer) à des événements et que vous avez des suggestions pour les gens qui organisent ces événements.

Plus inclusif, ça veut dire quoi ? Bien sûr, dans la tech, on pense souvent à la diversité, notamment au ratio hommes/femmes: Il n'y a que 15 à 30% de femmes dans la tech ou le numérique, selon ce qu'on mesure; et il y en a souvent encore moins dans les meetups et les conférences. Mais on peut aussi parler de l'inclusion de personnes en situation de handicap. Et de manière encore plus générale, chercher à rendre les événements accessibles au plus grand nombre.

Cette session sera un échange ; le but n'est pas de "donner des leçons" mais plutôt d'échanger des trucs et astuces, parce que quand on se donne la peine d'organiser un événement, si 100 personnes peuvent y assister c'est bien, mais 200 personnes c'est encore mieux, pas vrai?