Session du 25 novembre 2024 à 20h00

Data Science & IA

Veille & Discussions

DCGAN - IA Générative d'image@morpheus5828

Salut la team !
Je vous propose de parler cette fois d'IA générative en image. Je vais d'abord vous présenter l'architecture de base et ensuite un petit exemple sur un projet que j'ai mené sur un dataset de Peinture.

00:00:00 :Bonsoir à toutes et à tous, merci d'être là pour les fidèles et pour le nouveau arrivant pour cette suite de vidéos sur les différents types de réseaux de neurones et de machine learning.
00:00:17 :Alors ce soir, on va voir un réseau de neurones un petit peu particulier qu'on appelle les GAN ou Générative Adversaire Network. Ce sont en fait un type de neurones qui permettent de faire de la génération.
00:00:31 :Avant, on avait vu pas mal de modèles mathématiques permettant de faire des tâches de classification, de régression. D'accord. Là, ce qu'on aimerait faire, c'est on aimerait créer des choses. Donc ça, c'est pas mal d'utiliser en entreprise pour la génération de données.
00:00:47 :Quand on a peu de données, on peut en générer de nouvelles. Donc on va voir un peu comment ça va marcher. Et aussi avec les images. Donc là, ce soir, il y aura une partie présentation, une partie où je présenterai un projet de génération d'images que j'ai effectué depuis cet été. Donc on va voir tout ça en détail.
00:01:05 :Donc, dans un premier temps, je vais parler un petit peu des motivations. Pourquoi j'ai voulu présenter ça et qu'est-ce qui m'a vraiment plu avec ce réseau. Ensuite, on va commencer d'abord en parlant un petit peu de ce qu'on appelle les auto-encodeurs. Ça, on n'en a pas parlé dans les précédentes vidéos.
00:01:23 :Après, on verra le principe de base, les fonctions de perce, donc qu'est-ce qu'on aimerait minimiser. Et ensuite, on parlera du projet Paint the Game. Et on fera une petite conclusion, on fera un résumé global de tout ce qu'on a vu.
00:01:36 :Donc la motivation, ça m'est venu durant mon apprentissage, durant mon master. Et aussi sur les réseaux sociaux, je commençais plusieurs fois. J'ai vu des images qui étaient générées par de l'IA, comme les images que je vous ai mises là sur la diapo.
00:01:59 :On peut voir qu'en fait, on peut créer des images, on peut créer des personnes. Quand je dis des personnes, c'est vraiment le visage de personnes qui n'ont jamais existé. Et ça, je trouve ça bluffant, parce que vraiment, de se dire ok, on peut faire ce qu'on appelle des deepfakes.
00:02:14 :Donc ça, ça a été vraiment à la mode quand il y a eu les premières élections américaines. Quand il y avait Trump et Biden, il y avait pas mal de deepfakes sur Trump, etc. Et on a de plus en plus des choses qu'on arrive à générer avec des images, en l'occurrence, des changements, etc.
00:02:32 :Ça, c'est quelque chose qui m'a assez bluffé. Et en fait, je voulais faire ça. Donc j'ai commencé un peu à lire les articles de recherche qui parlaient de ça. Et du coup, j'ai commencé un petit peu à savoir ce que c'était.
00:02:47 :Donc là, on peut voir la progression. Donc en 2014, ça a été la première fois que l'article de Yann Gaudreau, c'est un chercheur au Canada et ses collègues ont sorti l'article pour faire de la génération. Donc on peut voir en 2014, c'était un peu des images d'honneur et blanc. Donc on n'avait qu'un seul canal, mais on avait des images assez petites.
00:03:04 :Et au fur et à mesure des années, jusqu'à 2018, voire maintenant 2024, on arrive à générer avec des images qui sont beaucoup plus nettes, dont la résolution est beaucoup plus grande. Et donc la dimension peut être très vaste. Je rends le cas, par exemple, d'IA comme 1000 journées, une IA assez populaire qui a été entraînée sur des gros datasets vraiment énormes.
00:03:27 :Et quand on voit les vidéos que ça peut donner, je vous propose d'aller voir, c'est assez bluffant. Donc en fait, par rapport à ça, il faut comprendre quelque chose avant tout ça. Je vais vous parler un petit peu des autoencodeurs. Alors c'est quelque chose d'un petit peu délicat, mais ça permet vraiment de comprendre comment réduire de la dimension.
00:03:50 :Donc en fait, l'idée de base, c'est voilà, vous avez en entrée une image. Donc ça peut être du texte, n'importe quoi. Je prends une image parce que c'est assez simple et je prends le cas vraiment simple pour vous expliquer. Et en fait, le but, c'est de prendre cette image là, qui est comme étant vue comme une matrice.
00:04:10 :Rappelez-vous, une image en couleur, c'est une image qui est en trois dimensions. J'ai le RGB ou autre type d'encodage. Et en fait, je vais l'encoder comme étant un vecteur. Donc c'est à dire qu'en fait, au lieu d'avoir une dimension, une matrice en trois dimensions, je vais avoir un vecteur en une seule dimension.
00:04:33 :Et ensuite, je vais refaire une partie décodeur. D'accord. Là, en fait, je vais reconstruire mon image à partir d'un vecteur. Et là, vous voyez qu'en fait, ce qui est intéressant de voir, c'est que ici, l'architecture, grâce au réseau de neurones, vous pouvez diminuer une entrée et vous pouvez aussi faire une sorte de décodeur.
00:04:56 :Donc c'est à dire qu'à partir d'un vecteur, on peut recréer une image. Et ça, c'est assez puissant parce qu'on se dit, ok, si je prends vraiment des vecteurs aléatoires, d'accord, si j'entraîne un réseau de neurones qui apprend à faire cet encoder ou décoder, donc à partir d'images dans son dataset, comme des chiffres manuscrits.
00:05:17 :L'autre fois, on parlait du dataset MNIST, d'accord. À partir d'un vecteur où il y a des nombres aléatoires, je peux régénérer une image. Et ça, c'est assez puissant quand même parce qu'on se dit, bon, on joue un petit peu avec les maths, d'accord, on joue un petit peu avec le deep learning. Et ça, c'est quelque chose qu'on va réutiliser plus tard. D'accord. Donc plus tard et en fait de suite.
00:05:38 :Donc le principe de base des cadres. Alors, avant, quand je vous parlais des différents réseaux de neurones, d'accord, on avait une entrée, d'accord, une input, et on avait un output, d'accord. Et le but, d'accord, c'était de faire de la classification. C'est-à-dire que j'avais des images de chien et de chat, et j'aimerais prédire par rapport à mes données à quelle famille d'images appartiennent l'animal que je vais montrer.
00:06:07 :Ben là, en fait, c'est un peu différent. C'est-à-dire qu'on va avoir la même chose. On va avoir une input, d'accord, où ça va être une base de données d'images, d'accord. Et on va avoir en fait, donc ça ce sont des images qui sont réelles, d'accord.
00:06:21 :Par exemple, je prends un dataset qui contient, je ne sais pas, 80 000 images, d'accord. Donc ça peut être des images de tout, c'est vraiment, je vais prendre des images comme dans le, comme dans un dataset ImageNet, d'accord, qui contient des millions d'images. Donc ça peut être de paysages, de repas, de, je ne sais pas moi, des photos, etc. Et en fait, le but, c'est que je vais avoir deux IA qui vont s'enfronter entre elles.
00:06:46 :Je vais avoir un générateur d'images, qui est ici, et je vais avoir un discriminateur. Le générateur, en fait, il va prendre, comme dans le décodeur ici, il va prendre un vecteur, d'accord, donc ça va être des nombres aléatoires. Et ensuite, en le passant vers le générateur, il va créer une image qui est fake, d'accord. Donc, tout à l'heure, je vous montrais un petit peu qu'est-ce que c'est qu'une image fake.
00:07:09 :Retenez juste que vous prenez une matrix en trois dimensions, vous mettez des nombres aléatoires entre 0 et 255, puisque c'est la valeur des pixels que peuvent rendre, c'est la valeur que reprend les pixels. Et ensuite, je vais mettre ça à l'entrée de mon discriminateur, et son but, c'est de me dire, ok, est-ce que l'image que j'ai en entrée, elle est réelle ou pas ? Et ensuite, je mets à jour mes fonctions de perte. Le but, vous l'aurez compris, c'est que le générateur, à la fin, génère, comme son nom l'indique, des images presque réelles.
00:07:37 :Et le but, ça sera de tromper le discriminateur. Parce que lui, il faudrait qu'il se trompe en disant que les images réelles, il se trompe une fois sur deux. Ça, ce serait vraiment le coup idéal, d'accord ?
00:07:53 :Donc si ça vous intéresse, vous avez le détail de ces fameux GAN qui sont sortis en 2014, dont j'ai mis le nom de l'article que j'ai trouvé, d'accord ? Donc maintenant, on va parler un petit peu de tout ça. En pratique, qu'est-ce que ça va donner ?
00:08:11 :En fait, je me suis amusé à faire ce truc-là en me disant, ok, mon dataset, ça va être des peintures, donc j'ai 30 gigas de peinture, et j'aimerais générer de nouvelles peintures à partir de différents arts, d'accord ? Et du coup, j'ai créé un projet qui s'appelle le PaintGAN. Le PaintGAN, c'est un dataset qui prend toutes ces images-là et qui génère des images de taille 64x64.
00:08:39 :Donc là, moi je suis ici. Je donne mes images réelles, en fait, à mon discriminateur, et ensuite j'entraîne mon générateur qui génère des images fakes, etc., et ensuite qui va permettre de minimiser un petit peu ses performances. Et donc voilà un petit peu les architectures.
00:08:57 :Donc là, vous avez entré un vecteur de taille 100, d'accord ? Donc c'est pas une matrice, c'est un vecteur. Ensuite, je vais le reshape en 4x4x24. Donc au début, c'est pas une matrice d'image, d'accord ? C'est vraiment juste une matrice lambda. Et au fur et à mesure, je vais ajouter des couches de convolution. Donc ça, on en avait parlé dans la vidéo des CNN. Donc les couches de convolution, ce sont des filtres.
00:09:23 :Donc chacune de nos matrices, on va les multiplier par des filtres, et cela va permettre de faire ressortir des caractéristiques. Et au fur et à mesure, tac, tac, tac, je vais terminer jusqu'à avoir ma matrice en 64x64 par 3 cadeaux. Et ça, du coup, ça va être mon image. D'accord ?
00:09:43 :Donc après, à l'intérieur, j'ai marqué des noms comme stride et tout. Ça, j'en parlerai pas pour cette vidéo, mais si vous êtes intéressé, on pourra en discuter ultérieurement, d'accord ? Ça, c'est des notions vraiment par rapport aux images, d'accord ? Qu'est-ce que chaque neurone va regarder exactement dans l'image, etc. Donc voilà, ça, c'est l'architecture du générateur, grosso modo. Donc c'est ce que vous avez ici. Et ensuite, le discriminateur, en fait, je ne l'ai pas mis parce que c'est l'architecture qui est symétrique.
00:10:10 :C'est-à-dire qu'elle, elle va prendre en entier des images en 64x64 par 3. Et ensuite, elle va diminuer jusqu'en bas. Et à la fin, elle va avoir deux vecteurs, d'accord ? Et elle va effectuer une classification qui est binaire, d'accord ?
00:10:26 :Donc là, entre autres, en fait, j'ai pas marqué la fonction de pair parce qu'elle est un peu trop compliquée à expliquer. Mais retenez qu'en fait, l'architecture de base, c'est ça. Et à chaque époque, à chaque itération de ma boucle d'enseignement, je vais mettre à jour mes différentes matrices, d'accord ? Et notamment, en fait, les paramètres de mon générateur et de mon discriminateur pour les rendre plus performants, ok ?
00:10:50 :Donc ça, en fait, alors, ça, c'est la version théorique. Et ce qui se passe, c'est qu'en pratique, c'est un enfer à coder. Et ça, du coup, j'ai mis pas mal de temps, etc. Mais à la fin, j'ai réussi à avoir des choses qui sont assez sympas. Donc je vais vous montrer ce que j'ai pu faire.
00:11:08 :Donc là, vous avez un petit gif que j'ai créé, d'accord ? Donc durant 100 boucles d'apprentissage, je rappelle qu'une boucle d'apprentissage, c'est je prends un vecteur, je l'envoie au générateur, je fais une image fake, une image réelle, j'envoie ça à mon discriminateur et je mets à jour les paramètres, d'accord ? Donc je fais une backward propagation. Ça, j'en avais parlé un petit peu avant.
00:11:31 :Ça, c'est une époque, d'accord ? Moi, j'ai fait ça sur 100 époques et j'ai fait tourner le tour sur GPU parce que CPU, rappelez-vous, le deep learning sur CPU, c'est juste pas possible, d'accord ? Et du coup, parmi ces 11 époques, en fait, j'ai pris, j'ai généré en fait 6 images de manière aléatoire, d'accord ? Donc là, j'ai pris du bruit au début, d'accord ? Donc un bruit gaussien. J'ai mis des valeurs aléatoires sur les 3 canaux. Bon, au début, on peut voir que ça donne vraiment rien. Ça, c'est pas une image.
00:11:59 :Mais en fait, quand je vais lancer le GIF, vous allez voir qu'est-ce qui va se passer chaque itération, d'accord ? Allez, c'est parti. Donc là, on commence à voir des petites formes qui apparaissent. Et à la fin, qu'est-ce qu'on s'aperçoit ? Qu'on arrive à générer des peintures.
00:12:19 :Et ça, voilà. Ça, c'est le but un petit peu de mon projet. Alors, vous allez me dire, ok, mais tes images, elles sont pas nettes. C'est normal parce qu'on est en 64 pixels par 64 pixels. Donc c'est vraiment très petit. Mais ce qu'on peut retenir, c'est que vraiment, à partir du bruit, donc à partir d'un nombre aléatoire, on arrive quand même à générer des motifs, des peintures.
00:12:43 :Alors, je ne saurais pas trop dire ce que c'est parce qu'on n'a pas trop d'objets. Mais en fait, on arrive à voir des choses, d'accord ? On aperçoit quand même une différence entre ça ou même ça. Vraiment, c'est du bruit. Et au fur et à mesure, on se rend compte que le bruit, il y a des couleurs qui apparaissent. Voilà, là, c'est une différence. Si je prends les 6 images, je vois des différences, d'accord ? Là, au début, la différence n'est presque pas là. Et là, voilà, au bout d'un moment, ça commence à converger, d'accord ?
00:13:11 :Le réseau commence à apprendre au fur et à mesure, d'accord ? Et c'est ça, du coup, qu'on va chercher. Et c'est ça qui va être vraiment le but de ce projet-là, d'accord ? Alors, par la suite, en fait, ce que j'ai voulu faire, je n'ai pas eu le temps pour la présentation, parce qu'avec le master et tout, je n'ai pas eu du temps.
00:13:29 :Ça serait de passer en images 128x128 et ensuite en 256x256, d'accord ? Pour augmenter la taille. Après, pour augmenter la résolution, ça, pour l'instant, je ne me suis pas encore renseigné, mais ça serait vraiment chouette de pouvoir avoir des images vraiment nettes. Après, ce qui se passe, c'est que le problème de ces gammes-là, en fait, c'est qu'il y a des avantages et des inconvénients, d'accord ?
00:13:54 :Donc, ça, c'est un petit récap que je fais dans ma slide de conclusion avant de passer au détail du code. Donc, l'avantage, les gammes, c'est cool. On peut le voir, la génération, elle peut sembler assez réaliste quand on s'en souvient de loin, etc. On voit qu'on a quand même des peintures ou même dans les premières slides, on peut voir qu'on a des visages, d'accord ? On peut créer des choses qui n'existaient pas avant. Bonne méthode. Donc, ça, ça peut être sympa pour générer des données. Voilà, quand vous êtes dans une entreprise qui vous manque des données pour effectuer x, x', d'accord ?
00:14:23 :Avec peu de données, vous pouvez générer des images. Là, en l'occurrence, j'ai généré 6 images au fur et à mesure, mais on voit que quand ma fonction de perte est assez minimale, donc ça veut dire que j'ai effectué ma tâche presque avec succès, je peux générer des milliards d'images. Donc, ça, ce n'est pas un problème, quoi, depuis qu'elle se rapproche un petit peu de la distribution réelle des données.
00:14:45 :Mais par contre, ça, on va le payer. On va le payer parce que là, c'est dur à mettre en œuvre. Je disais, ça a pris pas mal de temps parce que dans le réseau qui est ici, en fait, un data analyst, il va chercher à ajouter différentes méthodes, d'accord ? Il n'y a pas que des couches de convolution, il y a aussi de la normalisation, il y a plein de techniques mathématiques qui rentrent en jeu. Ce n'est pas le monde parfait, malheureusement.
00:15:12 :C'est coûteuse en termes de ressources. Il ne faut pas l'oublier, ça se fait tourner sur GPU. Donc, il faut avoir des GPU, déjà, première chose. Et ce n'est pas monsieur tout le monde. Et puis, même si on peut faire tourner sur des data centers ou quoi, chez un Google Collab ou quoi, bon, mais ce n'est pas pareil, ça prend quand même du temps.
00:15:33 :C'est du deep learning, donc ça a besoin de beaucoup de données, d'accord ? Moi, au début, j'avais pris 8000 images, ça ne suffisait pas, je suis passé à 80 000. Bon, là, vous voyez, il y a un résultat, donc c'est quand même 32 000 images, ce n'est pas rien.
00:15:48 :On peut avoir des meilleures approches avec d'autres modèles, qui sont moins paramétriques, dont j'en parlerai dans des prochaines vidéos, ça s'appelle les modèles de diffusion, où là, on peut vraiment avoir des choses qui sortent de l'ordinaire.
00:16:03 :D'accord ? Donc, si vous prenez des modèles comme mid-journée, je vous recommande d'aller voir, parce que là, vous avez vraiment des exemples concrets, vous avez des images qui sont en haute qualité. Bon, mais, outre le fait que ça a été tourné sur des machines monstrueuses, là, on parle de data centers entiers, on a quand même un résultat.
00:16:24 :Voilà, on a un résultat qui est plutôt, qui est assez sympa. Donc, voilà, ça, c'est un petit peu le résumé de ce qu'on a fait. Maintenant, en fait, je vais vous parler un petit peu du code, d'accord, que j'ai mis en open source sur GitHub, du coup, vous pouvez aller le voir, etc. Je vais un peu nettoyer, bon, je vais juste laisser tout sur un notebook, parce que pour l'instant, je pense que c'est plus sympa pour comprendre, etc., et pour commencer à toucher ça.
00:16:52 :Donc, en fait, là, je vous partage le code. Alors, dites-moi juste pour la résolution si c'est ok, si vous arrivez à voir ou si je grossis un petit peu. Quelqu'un peut me faire un feedback par écrit ?
00:17:05 :Essaye de taper un peu de code qu'on voit. Alors, si je fais du code. Parce que là, vous voyez le lupitaire ou pas ? Il arrive. C'est ok ? Si tu peux mettre un tout petit peu plus gros, ce serait super, ouais.
00:17:25 :Pourquoi le molette, ça ne marche pas ? Tic-tac-touc. Ok. Alors, je ne veux pas grossir. Attendez, laissez-moi 30 secondes.Je vais juste changer la résolution, parce que c'est mon petit serveur, ce n'est pas mon ordi que vous voyez. La résolution, ça peut poser problème dans ce genre de cas, par exemple.
00:18:20 :Ok, bon. Malheureusement, je ne pourrais pas trop changer. Est-ce que les autres, vous arrivez quand même à voir ou c'est vraiment trop compliqué, par hasard ?
00:18:30 :Non, on arrive à voir quand même. Ça aurait été plus sympa si c'était un peu plus gros, mais on arrive à voir quand même.Bon, je les grossir un peu, parce que ce n'est pas pratique sinon. Comment on peut zoomer ?
00:18:44 :Ok, setting, alternance, contrôle S, zoom. Zoom, compte. Zone tap, tu as une barre de recherche en haut à gauche. Zoom.Voilà, on passe à 125. Voilà, c'est bon comme ça maintenant, Johnny ?
00:19:10 :Super, impeccable. Merci, utilisateur de PyCharm.Ah, tu veux quand même un peu plus ?Ah, mais comment en fait ? Comme ça, c'est un peu redistant. Les contrôles molettes ne marchaient pas sur plus de distance, c'est pour ça.
00:19:26 :Ah, ils ne marchent pas sur plus de distance.Bon, alors là, je ne vais pas le faire tourner maintenant, parce que là, je vais vous montrer vraiment, je vais passer pas à pas sur les différentes choses, d'accord ?
00:19:36 :Donc ça, c'est un petit peu la globalité. Alors moi, je code sur PyTorch. Il y en a d'autres qui font sur Keras.Bon, c'est vraiment un choix arbitraire. Keras, c'est plus haut niveau, d'accord ? L'autre, c'est plus, on va toucher vraiment, qu'est-ce qui va se passer vraiment à l'intérieur.
00:19:50 :Donc, première étape, en fait, j'importe mon dataset depuis Gingface, d'accord ?Donc Gingface, c'est un site internet où vous pouvez en fait avoir de libre accès sur les modèles de langues, sur modèles de deep learning et sur des datasets, d'accord ?
00:20:04 :C'est gratuit, c'est joli, c'est vraiment sympa à faire. Il y a même une librairie Python pour pouvoir l'installer, donc c'est vraiment assez sympa.Ensuite, vous configurez ces petites lignes-là pour faire tourner votre code sur GPU, d'accord ?
00:20:16 :Donc là, il faut en avoir une, sinon vous ferez sur CPU, mais ça peut vraiment être beaucoup plus long.Donc ça, la partie WCAG dataset, ça, c'est pour vraiment configurer le dataset en tant qu'un objet Torch dataset.
00:20:31 :Donc ça, c'est un petit peu les préparatifs que vous pouvez trouver dans la doc, d'accord ?Donc ça, je vous le recommande, donc les transformations.
00:20:39 :Ah oui, je n'en ai pas parlé ! Les images qu'on se sert en entrée, d'accord ?On va les normaliser et on va aussi les réduire aux images dans la dimension qu'on veut, en fait, d'accord ?
00:20:49 :Toutes les images de mon dataset, je les ai mises en 64x64 parce que je voulais prédire des images en 64x64, d'accord ?Donc ça, vous le faites dans la transformation quand vous importez votre modèle, d'accord ?
00:21:03 :Ensuite, vous avez le gros bébé, donc vous avez le générateur.Voilà, il est beau, voilà. Là, vous avez un réseau neurone d'un générateur.Donc voilà, au début, là, j'ai mis quatre couches de convolution.
00:21:20 :Donc chacune, en fait, comme je vous le disais, on passe d'une taille de 512 à 256.On réduit au fur et à mesure jusqu'à passer, donc, à une couche de convolution qui va vous donner des images en 64x64, d'accord ?
00:21:35 :Et en fait, ce qui est sympa, donc là, vous pouvez faire un summary, d'accord ?Donc ça, c'est le nombre de paramètres.Donc ça, c'est le nombre de neurones qui va tourner sur votre générateur.
00:21:44 :Donc c'est quelque chose qui est quand même assez gros.Et ensuite, ce qui est sympa, c'est de pouvoir générer une image aléatoire.Et voici une image aléatoire.
00:21:52 :Donc ça, ce sont les images de base qui vont être entraînées par mon modèle, d'accord ?Donc ça, je ferai un vecteur, donc un torch par random.
00:22:03 :Torch, c'est un peu comme NumPy, ça a les mêmes fonctions, d'accord ?Donc en fait, de manière random, ça prend des nombres de zéro.Alors là, ça ne prend peut-être pas de zéro, un peu plus que là, une petite erreur.
00:22:16 :Bon, là, voilà, ça vous donne des nombres un peu aléatoires.Ensuite, je prends le discriminateur.Donc comme j'expliquais, moi, ce que j'ai fait, alors,ce que vous mettez à l'intérieur, d'accord, c'est arbitraire.
00:22:29 :Il n'y a pas de, en IA, il faut savoir un truc, notamment en apprentissage automatique,il n'y a pas de, comment dire, de règles à proprement dit sur qu'est-ce que vous allez prendre.
00:22:41 :Ça, c'est vous, en tant que concepteur, qui vous débrouillez un petit peu.Parce que la théorie derrière le deep learning, elle est assez compliquée.Et parfois, il y a des choses qui marchent, on ne sait pas pourquoi.
00:22:50 :D'accord, même nous, on le voit en cours, on nous dit, bah, testez.Vu que c'est sur le monde des stats, c'est basé sur le monde des stats et des probras, il faut tester.
00:22:58 :Donc après, là, je ne vous raconterai pas en détail qu'est-ce qu'il y a dans les couches.D'accord, là, vous avez des couches de convolution, vous avez des fonctions d'activation.
00:23:07 :Donc ça, j'en avais parlé dans la première vidéo sur l'introduction au deep learning.Donc, quels neurones je vais activer ou pas.D'accord, donc qu'est-ce que ça va être les sorties.
00:23:15 :Du dropout, ça c'est pour dire, ok, j'ai différents réseaux.Je vais prendre une partie des neurones que je ne vais pas activer et d'autres que je vais activer.
00:23:26 :D'accord, ça, c'est un choix un peu arbitraire.Donc pareil, en entrée, il prend un vecteur de taille 3, 64 x 64.Et ensuite, il génère un vecteur en 256 x 8 x 8.
00:23:39 :D'accord, là, je ne vais pas, je vais faire un petit calcul en 2.Donc, en fait, ça fait du, hop, ok, ça fait, bon, ça fait 256 x 4.
00:23:53 :Voilà, ça fait un vecteur de taille 16 384.Donc, c'est un vecteur assez gros, mais ce vecteur-là, en gros, il représente votre image.D'accord, voilà, donc c'est ça qui va être ensuite appelé par le classifiaire.
00:24:06 :Donc, le discriminateur qui va ensuite dire, ok.Alors, c'est pas, oui, c'est un classifiaire.Qui va ensuite dire, ok, c'est réel, non, c'est pas réel.
00:24:12 :D'accord.Donc, pareil, vous pouvez faire un torche pour savoir un petit peu.Qu'est-ce que vous avez comme différentes runs.D'accord, donc ça, c'est pas mal pour savoir les différentes, les différentes tailles.
00:24:24 :D'accord.Donc, au début, alors, là, je vous passe, regardez ce truc-là, parce qu'il y a eu un reshape.Donc, c'est pas, c'est pas trop parlant.
00:24:31 :Et ensuite, vous passez à la couche linéaire finale qui va finir sur un run qui va dire, oui ou non.C'est un, c'est une image clé ou pas.
00:24:40 :Alors, ça, c'est notamment un peu compliqué.Donc, je vais passer un petit peu, un peu à travers.Ensuite, vous configurez donc vos optimiseurs.Donc, vos optimiseurs, en fait, c'est ce qui va permettre de minimiser vos fonctions de perte.
00:24:52 :D'accord.Donc, la fonction de perte, je vous rappelle, c'est quelque chose qu'on aimerait minimiser.On fait de l'optimisation.D'accord.Puisqu'on est en IA.Enfin, on est en Deep Learning.
00:25:01 :On optimise selon une fonction de perte.D'accord.Et ce sont eux qui vont ensuite faire les pas de gradient.Pour ceux qui connaissent.D'accord.Donc, c'est eux qui vont chercher.
00:25:11 :Imaginons, vous avez une fonction polynomiale.D'accord.Du second degré.C'est une fonction convexe.D'accord.Bon, ben, imaginons, je prends le A qui est positif.D'accord.
00:25:23 :Le premier coefficient.La cloche, elle descend, puis elle remonte.Ben, moi, j'aimerais aller au, comment ça s'appelle, au point le plus bas.D'accord.Donc, là, on peut le faire par des centres de gradient.
00:25:32 :Ou on le fait par des optimisateurs qui vont le faire à l'autre place.Ok.Là, vous avez le nombre d'époque.Donc, moi, je l'ai mis à 100.
00:25:38 :Parce que j'aimerais faire la génération pendant 100 itérations.D'accord.Le batch size, là, on peut en reparler un petit peu aussi.Pendant ce qu'on fera durant la prochaine vidéo sur la programmation GPU.
00:25:50 :Ça, c'est le nombre de données que vous envoyez, en fait, à votre zone neurone.Et donc, à votre GPU.D'accord.Si vous envoyez, si vous faites, alors, si je reprends le Djapo précédemment.
00:26:01 :D'accord.Si vous faites tourner sur votre image à chaque fois sur une seule, dans ce schéma-là.Si je fais à chaque fois par une image.
00:26:10 :D'accord.Donc, je prends une image réelle.Ensuite, je fais ça.Quand vous avez un dataset qui contient 80 000 images.Je ne vais pas m'amuser à les faire une par une.
00:26:19 :Vous voyez, c'est beaucoup trop long.C'est beaucoup trop chiant.Et personne ne fait ça.Nous, on peut quand même que ça soit, dans un temps, réparti.
00:26:25 :Donc, en fait, on va envoyer beaucoup plus.On va envoyer 64 images.Donc, batch size à 64.En même temps, dans notre zone de run.
00:26:33 :D'accord.Ça va pouvoir aller beaucoup plus vite.On pourra traiter des données beaucoup plus rapidement.D'accord.Donc, en fait, c'est un paramètre qu'on peut faire varier en fonction de la puissance de votre machine.
00:26:43 :D'accord.Donc, c'est des puissances de 2 à chaque fois.Donc, 64, 128, 256, et ainsi de suite.Ensuite, on met le critère.Donc, le critère, c'est la fonction de perte.
00:26:53 :Donc, c'est la BC with logic loss.Pour les matheux, je pourrais vous en parler.Mais là, si je vous montre la loss, vous allez tous partir en courant.
00:27:00 :Et je vous montrerai ça dans le local.Donc, ça, c'est le critère d'optimisation.C'est ce qu'on va chercher à minimiser.Et ensuite, du coup, vous avez la fameuse boucle d'apprentissage.
00:27:11 :Donc, le train.D'accord.Qui va prendre en paramètre toutes ces données-là.Et qui va faire exactement ce que je vous ai montré dans l'architecture.Voilà.
00:27:22 :Et ensuite, je crois qu'en plus, je descends un petit peu.Voilà.Et là, vous avez pour chacune des époques.D'accord.Donc, vous reconnaissez les images.
00:27:33 :Vous avez les valeurs des losses.D'accord.Donc, au début, vous avez la salle de discriminateur et celle du générateur.Rappelez-vous, nous, ce qu'on aimerait minimiser, c'est celle du générateur.
00:27:42 :D'accord.Et on aimerait que la salle de discriminateur ne soit pas trop pourrie non plus.Donc, au début, c'est 0, 6, 3, 3, 3, 2.
00:27:49 :Et au fur et à mesure, ça descend.Alors, il faut savoir que ça ne va pas descendre de manière constante et linéaire.D'accord.Ça va des fois faire un petit peu débuter.
00:28:01 :D'accord.C'est comme si on imaginait un parc d'attractions où des fois, il y a les gros toboggans.D'accord.Des fois, ça fait des bosses.C'est un peu ça l'idée.
00:28:09 :C'est que des fois, ça va faire des bosses.D'accord.Et quand ça fait des bosses, il faut attendre.Soit on attend, soit on redémarre.Voilà.
00:28:14 :Là, par exemple, on est passé de 1, 4.On est remonté à 1, 8.D'accord.Et on peut voir déjà que la lote du discriminateur, elle remonte un peu.
00:28:22 :Après, elle redescend.Voilà.Ça, ce sont des réseaux qui…C'est pour ça que je vous parlais tout à l'heure que c'était quelque chose quiétait compliqué à maîtriser.
00:28:29 :Parce que déjà, c'est un nombre d'époques.Ça, c'est quelque chose qui est dur.Parce qu'on ne peut pas le savoir à l'avance.Il n'y a pas de formule mathématique ou quoi que ce soit.
00:28:36 :Donc ça, c'est un petit peu à l'instinct qu'on y va.C'est pour ça que c'est des projets qui mettent pas mal de temps à réaliser.
00:28:41 :Et c'est pour ça aussi que je vous fais une présentation sur les images en 64-64.Parce que là, vous avez le Jupiter en 128-128 et je n'ai pas réussi encore.
00:28:49 :Donc voilà.Au fur et à mesure, il y a les différents entraînements.Là, on peut voir qu'il y a des choses qui commencent à apparaître.
00:28:57 :Mais on a des trous.D'accord.Donc, ce n'est pas encore très…Ça ne passe pas beaucoup.Alors ça, je pense que c'est un autre entraînement que j'ai dû faire.
00:29:04 :Parce que là, je ne suis à que 16 époques.J'ai dû grimper jusqu'en bas pour voir un peu ce que ça avait donné à la fin.
00:29:09 :Voilà, voilà, voilà.Là, ça donne des images encore mieux que ce que j'ai mis dans le Jupiter.Donc là, vous voyez, quand on en est un petit peu loin, on peut voir qu'on a quand même des formes.
00:29:20 :Après, personnellement, je trouve ça surprenant.Parce qu'on a quand même à créer des peintures en mélangeant différentes peintures.D'accord.On a du Van Gogh, du Monet, du Mann et du Picasso.
00:29:30 :On arrive à tout mélanger et à générer des peintures qui n'existent pas.Vous ne pouvez pas trouver ça dans un musée.Ce n'est pas possible.
00:29:37 :Donc, vous voulez m'amuser un petit peu.Un truc que je voulais faire, c'est de prendre chacune des matrices de mon dataset.D'accord.Et de prendre les matrices de chaque image que j'ai généré.
00:29:49 :D'accord.Et de faire une comparaison en disant, de quelle image je me rapproche le plus.Voilà.Ça, c'est quelque chose que je n'ai pas fait, que je devrais faire.
00:30:00 :D'accord.Pour voir un petit peu ce que ça va donner.Voilà.Après, vous pouvez sauvegarder votre modèle.Ça, c'est pour pouvoir le réutiliser quand on veut.
00:30:11 :Alors, ça, c'est un truc assez intéressant, cette figure.Alors, je ne sais pas si je peux peut-être la...Ah, ok.Save as.Ok.Je vais vous la montrer.
00:30:23 :C'est quelque chose qui est assez intéressant.Donc, ça, en fait, ce sont les boucles d'apprentissage.Oh là.Ça, ce sont, en fait, les courbes d'apprentissage.
00:30:33 :D'accord.Donc, le GLoss et le DLoss.Discriminator Loss et Generator Loss.Et j'ai voulu, en fait, les sauvegarder pour voir un petit peu ce qu'il se passait.
00:30:42 :On peut voir qu'au début, les deux sont assez éloignés.Et d'un coup, à partir d'environ 20 époques, ça va commencer à converger.Et après, ça va diverger à partir de 60 époques.
00:30:52 :D'accord.Mais on peut voir déjà, par exemple, entre 20 et 60.D'accord.C'est là que le modèle le plus performant réalise notre tâche.D'accord.Donc, en fait, là, concrètement, quand je vous dis le choix du nombre d'époques qu'on aimerait mettre.
00:31:08 :Moi, j'ai mis 100 parce que ce n'est pas une grandeur.Mon prof, il m'a dit 40.40, ça ne suffisait pas.Bon, je passe à 100.
00:31:14 :Je peux voir qu'entre 20 et 60, ça suffit.Voilà.Là, concrètement, ça suffisait pour faire ma tâche.Mais ça, ça dépend vraiment.C'est, comme je vous dis, c'est aléatoire.
00:31:25 :C'est quelque chose qu'on ne peut pas vraiment contrôler.Donc, on joue un petit peu avec les maths.On joue un petit peu avec les différentes notions qu'on connaît.
00:31:32 :D'accord.Et on n'a pas de première...On peut avoir des impressions au début, mais ça ne peut pas forcément marcher au début.Par exemple, là, sur le data set en 128x128.
00:31:47 :Alors là, je vais vous montrer un petit peu ce que j'ai commencé à faire.Donc là, j'ai changé la résolution.Donc là, vous avez 80144 images.
00:31:57 :Et ensuite, à l'intérieur, je suis en train de pouvoir changer en remplaçant, par exemple,les couches de convolution par des autres outils qu'on connaît mathématiquement.
00:32:05 :D'accord.Donc, de la BatchNorm.Ça, c'est des choses que je ne vais pas décrire là parce que c'est trop compliqué.En fait, ça ne marche pas parce que moi, ce que j'ai voulu faire...
00:32:14 :Alors, la première chose que je voulais faire au début,quand je reprends un petit peu le réseau qui était là,moi, je me suis dit, ok, j'arrive ici en 128x32, etc.
00:32:23 :Au lieu de passer en 64x64x3, je passe en 128x128x3.J'ai le droit.Je rajoute une couche de convolution.Je balance mon réseau, etc.Et bien, le problème, c'est que du coup, on n'a pas des beaux résultats.
00:32:37 :Donc ça, c'est une image aléatoire, pareil.D'accord.Donc là, elle est un peu plus colorée, je dirais.Et après, malheureusement, on a un problème parce qu'on diverge dès le début.
00:32:49 :C'est-à-dire qu'on arrive à 2x8.Et d'un coup, on va passer à 5x4x16x5x6.Voilà.Une divergence dès le début.Donc ça, ça veut dire que ça ne prend vraiment pas.
00:32:58 :Donc voilà.C'est toujours en suspense.C'est un projet que je vais continuer quand j'aurai un peu plus de temps.Donc voilà.C'est là où est la difficulté vraiment de la chose.
00:33:10 :Donc là, vous touchez du doigt vraiment le problème des GAN.Donc après, il y a des alternatives aux GAN.Il y a des SEGAN.Alors au début, je comptais faire une présentation sur les des SEGAN.
00:33:20 :D'accord ?Mais je me suis fait quelque chose d'un peu plus simple.D'accord ?Vous avez des SILK GAN.Vous avez des CONDITIONAL GAN.Vous avez toute une panoplie de GAN.
00:33:28 :Donc ça, c'est vraiment pour la génération.C'est depuis 2017.Ouais ?Yo, comment on fait ?Si tu décomposes ton image 128 en 4x2x64, ça fait quoi avec ta méthode, ta première méthode ?
00:33:43 :Alors, je n'ai pas compris.Tu parles de quelle taille, 128x128 ?Ouais, et tu la subdivises en 4x2x64.À partir du modèle que j'ai déjà créé ?
00:33:56 :Ouais.Bah en fait, je n'ai pas testé.Pourquoi ?Je n'ai pas testé parce que...Alors, ce qu'il faut savoir dans le truc, c'est que quand tu apprends un modèle qui est basé sur des images 64x64,en fait, les couches de convolution que tu utilises, elles sont adaptées pour toutes leurs deux dimensions.
00:34:12 :Donc en fait, quand tu vas passer pour un truc en 128x128, ça va foirer.Donc ça, c'est un peu la théorie.On l'a vu en cours il n'y a pas longtemps.
00:34:20 :Donc après, je ne l'ai pas testé en pratique.D'accord ?Mais ça semble assez logique parce que comme je fais des itérations sur ça...Ce que je veux dire, c'est...
00:34:27 :C'est-à-dire, typiquement, tu prends tes images 128, tu les subdivises en 4 canaux,enfin 4 flux de 4x64x64, et à la fin, tu essaies de voir si tu ne peux pas refaire une combinaisonde tes images générées à partir des 4 flux.
00:34:46 :Ah oui, ok, je comprends.En fait, ça peut être une idée.Ça peut être une idée de création aussi.Ça peut être une bonne idée, je ne sais pas.
00:34:56 :C'est à tester.Il y a plusieurs approches.Au début, on peut penser différemment.Alors moi, au début, ce que je voulais faire, par exemple, c'était de me dire,ok, là on a 4-5 gros blocs, on a 4 couches de convolution.
00:35:14 :Est-ce que ce ne serait pas l'idéal de faire, par exemple, 2 couches de convolution qui ont la même taille,de faire, par exemple, ce bloc-là, encore ici,donc alors le même bloc, et ensuite augmenter la taille.
00:35:25 :On peut le faire, il y a des...Quand je prends des réseaux comme ResNet, d'accord ?C'est un autre réseau qui a été entraîné sur ImageNet.
00:35:32 :On a ces trucs-là qui apparaissent dans les réseaux.Donc ça, après, c'est en lisant les autres articles.Chez eux, ça marche.Je me dis, bon, pourquoi pas ?
00:35:38 :Bon, ça va marcher.Donc est-ce que ça ne peut pas marcher parce que je n'ai pas assez d'images ?Est-ce que ça ne peut pas marcher parce que, nous, comme on prend le cas où chaque image, en fait,elle est idée, c'est-à-dire qu'elle est identique,elle est définie, en fait, indépendante l'une des autres, d'accord ?
00:35:56 :Est-ce que peut-être cette dépendance est trop forte et donc, du coup, ça ne marche pas ?Ça, c'est des questions qui restent ouvertes.Voilà.Donc, voilà, j'ai terminé ma présentation.
00:36:07 :Donc, si vous avez des questions, je serais ravi d'y répondre.J'espère que je vais essayer de ne pas trop rentrer dans les détails.Comme ça, je resterai assez large pour les différentes personnes qui n'ont pas trop d'IDA ou quoi.
00:36:21 :Donc, si vous avez des questions techniques ou des questions comme ça, n'hésitez pas.J'ai un peu de temps encore.Bonjour. J'ai juste une petite question.
00:36:32 :Est-ce que tu disais que toi, tu as mélangé plein de peintures différentes pour essayer de générer des peintures ?Mais est-ce que si tu ne donnes, par exemple, que des peintures d'un même artiste,tu peux vraiment récupérer, on va dire, comme on dit, la patte de l'artisteet faire des tableaux qui pourraient être faits par cette personne-là, tu vois ?
00:36:50 :Le souci, c'est qu'en fait, tu ne vas pas avoir assez de données.Parce qu'il n'y a pas d'artiste qui a fait plus de…Enfin, à ma connaissance, ou peut-être au niveau des jeux de données, je n'ai pas fouillé,mais de ce que j'ai pu voir, c'est que tu n'as pas un artiste qui a fait plus de 1500 peintures
00:37:04 :ou 10 000 peintures, tu vois ?Et en fait, tu vas être voté par…Ouais, d'accord.Alors, ce que tu pourrais faire, c'est que tu peux augmenter les données que tu connais déjà.
00:37:14 :C'est-à-dire, par exemple, si je prends les images de Van Gogh.Allons, imaginons qu'il a peint 400 peintures.Je fais de la data augmentation.Si je marque une peinture, je peux faire des rotations.
00:37:24 :C'est la même peinture, mais sous un autre angle.Mais c'est quand même des images.Donc à partir d'images, je peux en créer 4.Bon, tu as un facteur 4, tu fais…Du coup, tu as 1600 images, tu pourrais le faire.
00:37:34 :Mais le problème, c'est qu'en fait, il n'est pas assez large.Tu vois ?Et du coup, tu vas être un peu resté.Après, il existe des…Comment on s'appelle ?
00:37:42 :Des réseaux, d'accord ?Qui fonctionnent avec du deep learning, d'accord ?Mais sur des petites quantités de données.D'accord ?Du leave-one-out.Ce sont d'autres techniques de machine learning.
00:37:53 :Mais là, par rapport au GAN,le problème, c'est qu'on a quand même besoinde pas mal de données.Donc, je ne pense pas qu'on pourrait tester.
00:38:00 :D'accord ?Je ne fais que des suppositions.Mais peut-être que le résultat,il risque de peut-être pas être assez…Comment on s'appelle ?Assez…Assez fin, quoi.
00:38:12 :Voilà.Ok, je vois.Merci.Est-ce que vous avez d'autres questions, par hasard ?Est-ce que ça va au niveau du réseau ?Vous avez rien à comprendre ?
00:38:31 :Quand je parlais des slidesmilieu des paramètres, etc.Vous vous souvenez un petit peude ce que tu avais pu dire avant, etc. ?Enfin, vous voyez ?
00:38:39 :Ouais, ouais.Je me rappelle ce que tu avais dit un peu avant.Après, ça remonte un peu, je ne te cache pas.Donc, je…Ouais, ouais.
00:38:47 :Dans les grandes lignes, on va dire, il faudrait…En fait, je pense que ce qu'il faudrait,c'est de les refaire après, tous à la suite,pour bien voir le truc.
00:38:55 :Je pense que c'est ce qu'il faudrait faire.Une mini-série.Ouais, une petite série, une mini-série,ce serait sympa, ouais.C'est comme quand tu vois Game of Thrones,quand tu vois House of Dragons,il faut tous les revoir.
00:39:05 :Et là, tu comprends tout ça.Ouais, une fois que tu arrives à la fin,il faut que tu repartes au débutpour mieux comprendre, quoi.
00:39:10 :Ok.Écoutez, si vous n'avez pas d'autres questions,je vous propose qu'on s'arrête là.Je vais arrêter le stream.Ok, merci encore à vous,Pierre et Jonah,pour avoir enregistré ça.
00:39:31 :Ça me fait vraiment un plaisir.Et puis,il y a tout le monde qui m'appelle Marcus,je vais crier.Oui, je n'avais pas fait gaffe.
00:39:44 :Je vais crier.Voilà.Bon, en tout cas, merci à toi,Yo-Yo Nel, d'être venu aussi,ce soir.Ça me fait plaisir.Ça fait longtemps que je ne vous ai pas parlé,donc c'est cool.
00:39:56 :Merci à toi pour la présentation,c'était cool.Après,ça a l'air super complexe.Toutes tes fonctions,tes optimisations,et de l'autre, etc.Il y a plein de trucs que tu as commencé.
00:40:11 :C'est un univers,c'est qu'au début,nous, qu'on a commencé en septembre,quand on tombait sur des...On parlait des fonctions d'activation,etc.Comment faire marcher le réseau,et tout.
00:40:24 :C'est une gymnastique.C'est vraiment, au début,ce n'est pas facile.Alors,tu vois des têtes qui sortent de...En plus, nous,on est mélangé avec une école d'ingénieurs.
00:40:33 :Donc, ils ont fait prépa,donc les maths,ils ont créé, etc.On s'est fait bouger.Et après,quand on a commencé à comprendre,on s'est dit,bon, là, il se passe ça, ça, ça,tu vois.
00:40:45 :Là, ça commence à être sympa.Après, ce qui est bien,c'est qu'on a vraiment des coursesqui sont assez coolsur les images.On a commencé une option,c'est...
00:40:52 :Qu'on s'appelle la computer vision,c'est comment passerpar-delà d'un cheval à un zèbre.Tu vois.En fait,tu vas colorier un cheval avec...Ouais.Et ça, c'est assez incroyable.
00:41:03 :Donc,il y a pas mal de petits trucscomme ça.C'est un peu...Bon, on fait ça,on fait de la segmentation.Comment entourer un objet sur une image.
00:41:13 :Comment le supprimer, l'image, aussi.Comment enlever une moustache à quelqu'un.Comment...Imaginons,je prends des photosdifférentes angles d'une chaise,par exemple.Comment une personne qui a...
00:41:24 :Je prends une photoqui a le visage sur le côté,je puisse lui remettrele visage droit, par exemple.Ça, c'est quelque chosequi se fait pas mal, aussi.
00:41:31 :On l'a vu ce matin en cours.Donc, ouais,c'est vraiment passionnant.Après, c'est que je veux pasfaire trop de vidéos là-dessus,sinon, après, on dirait« Ah, tu fais trop de vidéossur le deep learning ! »
00:41:39 :Et après, des goûts,ils m'engueulent.J'ai pas le choix,j'ai pas le choix.Mais ouais, non,il y a des projetsvraiment sympas.Et puis, en fait,j'ai hâte d'avoirun peu plus de tempsquand j'aurai,comme on dit,inch'Allah, fini mon master.
00:41:52 :J'aurai du temps pour moipour faire des projets comme çaparce que, vraiment,ça me prend beaucouptrop de temps, ces trucs.Et on va pas tout faire.
00:41:58 :Juste le stage,moi, il n'y a rienavec le deep learning.C'est vraimentun stage basésur de l'IA symbolique,un peu.Donc, c'est de la vieille IA,mais moi, il fallaitqu'au bout d'un moment,j'en trouve un stage.
00:42:09 :Donc, je me dis, bon,il vaut mieuxcommencer à avoirdes stages comme ça.Je m'usais plussur le fait de trouverun stage avec un sujetun peu moins passionnant.
00:42:21 :Et au moins,je m'en rends dans une boîte.Moi, je mets assez de temps.Ouais, c'est un équilibre.Parce que, vraiment,la recherche dans le public,non.
00:42:28 :Ça, j'ai dit non.C'est bon.C'est mort.Vraiment,pas pour moi.Voilà.Y'a d'autres.Ouais, bah,c'est des statuesassez précaires.On va pas payer les masses.
00:42:39 :Mais après, par contre,c'est sûr,c'est un stageC'est sur des sujetsintéressants.Après, on te dit,ouais,force de science.Force de science,t'es.
00:42:50 :Force de science,non,risque pas,qu'au bout d'un moment,enfin,il faut gagner son point,quoi.Puis, je crois,un collègue,il est ingénieur,il a fait le même masterque moi,il est payé 1 500,en labo.
00:43:04 :1 500, non plus.Je me dis,mais moi,je travaille pas.J'ai fait ça,je me suis fait chier5 ans.Enfin, voilà.OK.Bon, bah, les gars,merci beaucoup.
00:43:18 :Et puis, je te souhaiteune très bonne soirée.C'est toi aussi.Merci.Allez.Ciao, ciao.Merci.On peut venir discuter.Je peux discuter avec toideux secondes après, Morpheus.

Bravo, tu es prêt à passer à la suite

Continuer sans valider Continuer et valider

Rechercher sur le site

Formulaire de contact

Inscris-toi à Docstring

Pour commencer ton apprentissage.

Tu as déjà un compte ? Connecte-toi.