Après avoir validé le POC du dernier projet IA, à grands coups de requêtes vers OpenAI, la DSI met le holà, impossible d’envoyer des informations de l'entreprise à un service tiers, on va gérer nos LLMs sur nos propres clusters Kubernetes !

Cela demande par contre d’avoir des GPUs (sic) pour que ce soit performant, accessibles aux applications conteneurisées, mais alors comment ça marche ?! Et puis les GPUs c'est cher, c'est rare, comment les utiliser au mieux sans exploser les budgets ?

Je vous propose alors de voir ensemble comment, grâce à l’opérateur "NVIDIA GPU Operator" on peut accéder à ces fameux GPUs : installation, configuration, interaction avec l’hôte et gestion des modules noyau, mais surtout les contraintes et divers modes de partage de ressources (time-slicing, mig), et d’autres add-ons sympa comme le "node-feature-discovery" pour utiliser au mieux les ressources, le tout en mode pas-à-pas.

Après cette session, mes équipes de devs pourront enfin avoir du GPU dans leurs conteneurs !