Formation en Large Language Models (LLM)
Trois jours pour comprendre les LLM et leurs applications : fine-tuning, raisonnement, RAG et Agents, avec LangChain, MCP et n8n.
Cette formation intensive de trois jours s'adresse à des profils techniques ayant des connaissances en programmation et en machine learning. Elle permet d'acquérir des compétences avancées, théoriques et pratiques, sur les LLMs, notamment les techniques et les applications à l'état de l'art.
Objectifs pédagogiques :
À l'issue de la formation, les participants seront capable de :
-
Comprendre l'architecture et le fonctionnement des LLMs
-
Implémenter des solutions basées sur les LLMs
-
Maîtriser les applications des LLMs (RAG, Agents, etc.)
-
Fine-tuner des LLMs pour les adapter à des cas d'usage
-
Développer des applications avec LangChain
Programme de la formation
Le programme de la formation alterne entre parties théoriques et mises en pratique sous Python et Pytorch.
Fondamentaux des LLMs
-
Eléments de deep learning
-
Représentations distribuées de mots (Embeddings)
-
Modèles classiques pour le NLP (RNN, LSTM, Seq2Seq)
-
Mécanisme d'Attention et transformers
-
Tokénisation
-
Positional encoding
-
Modèles BERT
-
Modèles auto-régressifs (GPT)
-
Mise en pratique avec PyTorch : fine tuning d'un modèle BERT
Retrieval Augmented Generation (RAG)
-
Introduction aux RAGs
-
Bases de données vectorielles
-
Modèles de similarité pour le retrieval (cross-encodeurs, ColBERT, etc.)
-
Reranking
-
Techniques avancées
-
Ecosystème LangChain
-
Mise en pratique avec LangChain : implémentation d'un RAG
Agents basés sur les LLMs
-
Principes d'un Agent LLM
-
Agents ReAct
-
Systèmes multi-agents
-
Protocole MCP
-
Automatisation avec n8n
-
Mise en pratique : implémentation d'un Agent avec LangChain, MCP et n8n
Fine-tuning des LLMs
-
Supervised fine-tuning
-
RLHF
-
Parameter efficient fine-tuning (PEFT)
-
LoRA
-
QLoRA
-
Mise en pratique sous Pytorch : Fine tuning d'un LLM open source
Raisonnement avec les LLMs
-
Importance du raisonnement dans les LLMs
-
Chains of Thoughts
-
Modèles de type DeepSeek
-
GRPO
-
Mise en pratique sous PyTorch : fine tuning d'un LLM pour le raisonnement