Formation en large language models (LLM)
Cette formation intensive de trois jours s'adresse à des profils techniques, ayant des connaissances en Python et en machine learning. Elle permet d'acquérir des compétences avancées, théoriques et pratiques, sur les LLMs (Large language Models), notamment les techniques à l'état de l'art (modèles de type DeepSeek, etc.).
​
Objectifs pédagogiques :
À l'issue de la formation, les participants seront capable de :
-
Comprendre l'architecture et le fonctionnement des LLMs
-
Implémenter des solutions basées sur les LLMs
-
Maîtriser les techniques de prompting avancées
-
Fine-tuner des LLMs pour les adapter à leurs cas d'usage
-
Comprendre et développer des modèles de type DeepSeek
-
Développer des applications avec LangChain
Dates
Du 29 au 31 octobre 2025
Lieu
Distanciel
Prix
Tarif individuel : 1500€ HT.​
Possibilité de paiement en 3 échéances.
​
Nombre de places
10 places.
Programme de la formation
Le programme de la formation alterne entre parties théoriques et pises en pratique sous Python et Pytorch.
​
Fondamentaux des LLMs
-
Eléments de deep learning
-
Représentations distribuées de mots (Embeddings)
-
Modèles classiques pour le NLP (RNN, LSTM, Seq2Seq)
-
Mécanisme d'Attention
-
Transformers
-
Tokénisation
-
Positional encoding
-
BERT
-
Modèles auto-régressifs (GPT)
-
Mise en pratique avec PyTorch : fine tuning d'un modèle BERT
​​​
Retrieval Augmented Generation (RAG)
-
Introduction aux RAGs
-
Principes de base
-
Bases de données vectorielles
-
Modèles de similarité pour le retrieval (cross-encodeurs, ColBERT, etc.)
-
Reranking
-
Graph RAG
-
Mise en pratique avec LangChain : implémentation d'un RAG
​
Agents basés sur les LLMs
-
Brève histoire des agents intelligents
-
Principes d'un Agent LLM
-
ReAct
-
Systèmes multi-agents
-
Mise en pratique avec LangChain : implémentation d'un Agent
​​
Fine-tuning des LLMs
-
Supervised fine-tuning
-
RLHF
-
Parameter efficient fine-tuning (PEFT)
-
LoRA
-
QLoRA
-
Mise en pratique sous Pytorch : Fine tuning d'un LLM open source
​
Raisonnement avec les LLMs
-
Importance du raisonnement dans les LLMs
-
Chains of Thoughts
-
Modèles de type DeepSeek
-
GRPO
-
Mise en pratique sous PyTorch : fine tuning d'un LLM pour le raisonnement
​
Discussion sur les enjeux éthiques liés aux LLMs