Le programme alterne entre partie théorique et mise en pratique avec Pytorch. Les concepts théoriques sont détaillés de manière approfondie et intuitive. La mise en pratique concerne des cas d'usage réels. 

​

Introduction au deep learning

• Brève histoire de l'intelligence artificielle

• IA symbolique vs. IA connexionniste

• Aux origines des neurones artificielles

​

Fondamentaux du deep learning

• Le monde comme représentation

• Perceptron multicouches

• Neurone artificielle

• Fonctions d'activation

• Descente stochastique du gradient

• Techniques avancées d'optimisation : Adam, RMSProp.

• Rétropropagation du gradient

• Batch normalisation

• Régularisation et Dropout

• Travaux pratiques sous Numpy et Pytorch

​

Framework Pytorch

• Tenseurs : création, opérations, manipulation mémoire

• Autograd : calcul automatique de gradients, requires_grad, torch.no_grad()

• Modules & couches de base (nn.Module, Linear, Sequential...)

• Dataset & DataLoader : création d’un jeu de données custom, batch, shuffle

• Boucle d’entraînement générique : forward → loss → backward → update

• Optimiseurs (SGD, Adam) & schedulers

• Sauvegarde et chargement d’un modèle

• Monitoring avec TensorBoard et métriques personnalisées

• Mise en pratique

​

Deep learning pour le computer vision​

• Extraction hiérarchique de représentations

• Convolution et pooling

• Biais inductifs des CNN

• Architectures classiques : LeNet, AlexNet, ResNet.

• Modèles pré-entraînés et transfert learning

• Evolution des architectures CNN

• Détection d'objets et YOLO

• Segmentation d'images et U-Nets

• Réseaux de neurones siamois

• GANs

• Mise en pratique sous Pytorch

​​

Deep learning pour le NLP et LLMs

• Représentations distribuées

• Modèle Word2Vec 

• RNN, GRU et LSTM

• Transformers

• Apprentissage auto-supervisé et BERT

• Modèles auto-régressifs (GPT)

• Supervised fine-tuning (SFT)

• RLHF

• Approximations bas rang

• Mise en pratique sous Pytorch​​​

​​

Apprentissage multimodal

• Importance des représentations

• Modèle CLIP

• Modèles génératifs 

• Modèles de diffusion

• Mise en pratique sous Pytorch