Utiliser ChatGPT, Claude ou Copilot nous oblige à partager nos données avec les sociétés qui opèrent les modèlent correspondants.

Si on préfère garder le contrôle de ses données (ou qu'on y est obligé par la réglementation), on peut se tourner vers des modèles comme Llama, Mistral, Phi-3 ou encore Qwen, que l'on peut héberger en local ou sur des clusters Kubernetes, par exemple.

C'est ce qu'on va faire ensemble dans ce tutoriel ! On va :

• Créer une petite app d'IA générative avec Java et Spring AI
• Intégrer cette app avec un LLM local
• Déployer l'app et le LLM sur Kubernetes
• Passer l'app et le LLM à l'échelle grâce à une architecture asynchrone (avec des files de message)
• Se doter de métriques afin de pouvoir correctement dimensionner l'application (notamment au niveau des "requests" et "limits" CPU et mémoire dans Kubernetes)
• Mettre en place de l'auto-scaling avec ces métriques

Notre application de démo est écrite en Java, mais les concepts liés au déploiement et au passage à l'échelle de l'app et du LLM sont totalement indépendants du langage.

N'hésitez pas à nous rejoindre si vous n'avez que des bases en Java et souhaitez monter en compétence sur Kubernetes, ou même l'inverse!