Comprendre les LLM
Comprendre la tokenisation, les embeddings, le mécanisme d’attention et l’architecture des modèles modernes.
Formation LLM (Large Language Models)
Transformers · RAG · Agents · Fine-tuning
Comprendre le fonctionnement des LLM, concevoir et développer des applications basées sur ces technologies : RAG, Agents et fine-tuning.
- 3 jours
- 21h de formation
- 12 participants
- Groupe restreint
- 1500 € HT
- par participant
Ce que vous saurez faire
Construire un RAG
Concevoir une chaîne de recherche augmentée fondée sur des embeddings, une base vectorielle et un reranking efficace.
Développer des Agents
Créer des agents capables d’utiliser des outils, d’orchestrer des actions et d’interagir avec des services externes.
Fine-tuner les LLM
Fine-tuner un modèle open source avec les techniques SFT, PEFT et LoRA pour répondre à un cas d’usage.
À qui s’adresse cette formation ?
Cette formation s’adresse aux profils techniques qui souhaitent approfondir leur maîtrise des LLM et de leurs applications :
- Data scientists
- Machine Learning engineers
- Développeurs Python
- Chefs de projet disposant d’une culture technique
Prérequis
Cette formation nécessite des connaissances en programmation, de préférence en Python.
Programme de la formation
Fondamentaux des LLM
- Rappels de deep learning
- RNN et LSTM
- Architecture Transformer
- Attention, tokénisation, positional encoding
- Modèles BERT et GPT
- Post-training des LLM
TRAVAUX PRATIQUESExplorer un LLM et visualiser les mécanismes d’attention.
RAG (Retrieval Augmented Generation)
- Principes du RAG
- Bases vectorielles et indexation
- Retrieval, recherche hybride et reranking
- Évaluation d’un système RAG
- Intégration avec LangChain
TRAVAUX PRATIQUESConstruire un RAG complet et analyser ses performances.
Agents basés sur les LLM
- Agents ReAct et appel d’outils
- Gestion du contexte et harnais
- Workflows et orchestration
- Systèmes multi-agents
- Protocole MCP
TRAVAUX PRATIQUESDévelopper un agent connecté à des outils et à un serveur MCP.
Fine-tuning des LLM
- SFT et RLHF
- PEFT, LoRA et QLoRA
- Modèles de raisonnement
- GRPO
TRAVAUX PRATIQUESFine-tuner un LLM open source et évaluer les résultats.
Le formateur - Redha Moulla
Redha Moulla est formateur, consultant et enseignant en intelligence artificielle à EPITA. Après un parcours dans la recherche en automatique et en IA, il accompagne aujourd’hui les professionnels et les entreprises dans la compréhension et la mise en œuvre de ces technologies.
Docteur en automatique, il est également titulaire de masters en statistique et big data, physique et innovation.
- 15 ans
- d'expérience en IA
- 1000+
- professionnels formés
- 60+
- entreprises accompagnées
Questions fréquemment posées
Quelles sont les modalités d’inscription ?
La demande d’inscription s’effectue à l’aide du formulaire de contact situé en bas de cette page. Vous serez recontacté sous 24 heures.
Quand le règlement doit-il être effectué ?
Le règlement s’effectue à l’issue de la formation. Il n’est demandé que si le participant est satisfait.
Est-il nécessaire de maîtriser Python ?
La pratique de Python est fortement recommandée, mais elle n’est pas indispensable. Les sessions précédentes ont déjà accueilli des participants ne possédant aucune connaissance en Python. La formation s’adresse néanmoins majoritairement à des chercheurs, data scientists, data engineers et autres profils techniques.
Ai-je besoin d’une configuration informatique particulière ?
Aucune configuration particulière n'est requise. Il suffit de disposer d’un ordinateur portable. Les ressources de calcul nécessaires, notamment les GPU, sont mises à disposition en ligne pendant la formation.
Les déjeuners sont-ils inclus dans le tarif ?
Oui. Le tarif comprend les déjeuners ainsi que les pauses-café pendant les trois journées de formation.
La formation peut-elle faire l’objet d’un financement public ?
Non. La formation peut être financée directement par le participant ou par son entreprise.
La formation peut-elle être organisée en intra-entreprise ?
Oui. Le programme peut être organisé au sein d’une entreprise et adapté aux besoins et au niveau de ses équipes.
Inscription & informations
Vous souhaitez suivre cette formation ou obtenir des informations ?
Réservez une place pour la prochaine session, inscrivez un collaborateur ou échangeons sur l’organisation de cette formation dans votre entreprise.