Jour 1 - Architecture et installation d’une IA locale
Matin - Besoins, modèles et dimensionnement
- Cas d’usage internes et niveaux de confidentialité.
- Familles de modèles, quantification, fenêtre de contexte et licences.
- Dimensionnement CPU, mémoire, GPU, stockage et concurrence.
- Architecture cible, flux réseau et critères de choix.
Travaux pratiques : Élaborer une matrice de dimensionnement pour trois scénarios d’entreprise.
Après-midi - Mise en service du moteur d’inférence
- Installation en machine virtuelle ou conteneur dans le laboratoire.
- Téléchargement contrôlé d’un modèle et gestion du stockage.
- Premiers appels API, paramètres d’inférence et limites.
- Mesure de la latence, de la mémoire et du débit.
Travaux pratiques : Déployer un moteur local et comparer deux configurations de modèle.