Session du 23 octobre 2024 à 20h00
Data Science & IA
Veille & Discussions
Introduction au TAL @morpheus5828
Hello la team,
Je vous propose une vidéo de présentation d'un domaine en informatique assez connu: le TAL pour traitement automatique des Langues. C'est un domaine qui est en pleine expansion ou tous les jours on trouve de nouveau article de recherche publié ! Du coup je vais vous faire une présentation.
Cette vidéo sera la première d'une série consacré au TAL.
Pas de panique on ne fera PAS D'IA ! (pour l'instant)
00:00:00 :Bonsoir à vous tous, merci d'être venu pour cette présentation que j'organise sur le Docstring.Ce soir on va voir une introduction au TAL, l'acronyme de Traitement Automatique des Langues,qui est un domaine dans la sphère de l'ordinateur, dans la Computer Science,et notamment qui est pas mal lié avec de l'intelligence artificielle dans le domaine de l'apprentissage automatique.
00:00:29 :Donc je m'appelle Marius Torch, je suis en Master 2 en IA à Aix-Marseille Université.Donc dans un premier temps, on va parler un petit peu des motivations,qu'est-ce qui m'a poussé à vous faire un petit peu ce diapos là,parce que c'est vrai que c'est quelque chose qu'on entend parler assez souvent avec les IA Génératives,
00:00:51 :On va voir un peu les contextes qui ont été rencontrés durant l'histoire au fil des siècles du TAL.On va voir que c'est un domaine émergent du IA, comme j'en ai parlé,donc c'est un domaine qui a eu pas mal de vent en poupe dès l'apparition du Deep Learning dans les années 2012-2015,
00:01:11 :donc en partie à partir du 21ème siècle.On va voir un petit peu les domaines du TAL, on va voir que ça touche pas mal de domaines et pas forcément que du texte.
00:01:19 :Ensuite on parlera des LLM, donc des Large Language Models,qui sont des modèles de Deep Learning appris sur des données phénoménales,et en fait on fera un petit résumé de ce qu'on a dit.
00:01:32 :Donc les motivations.Tout le monde sait parler, mais tout le monde ne sait pas jouer au Go, dans l'IA, appliquer au langage,ça devrait être facile, mais...
00:01:42 :Donc on s'est rendu compte, au fur et à mesure des années,que lorsqu'on commençait à développer des systèmes d'IA,donc là on parlait plus d'IA symbolique, d'accord, c'est des IA qui répondaient à des contentes,le Deep Learning n'avait pas encore fait son apparition, puisqu'il y avait encore des soucis algorithmiques,
00:01:59 :ça marchait pas très très bien, on parlait vraiment que de jeux de machine learning, mais sans raison de neurones,donc avec des classifiers, comme les SVM, etc.
00:02:08 :Et après, au fur et à mesure, on s'est rendu compte quela plupart des jeux, on a commencé à savoir les réseaux de manière très efficace,donc l'un des premiers jeux que j'aime bien prendre comme exemple, c'est Deep Blue,c'est l'IA qui a battu le champion d'échecs Kasparov, dans les années 90.
00:02:31 :Donc ça a été les premiers systèmes experts, c'est les premiers types d'IA qu'on avait.Et au fur et à mesure, on a commencé à appliquer ça à des jeux de Go,à d'autres jeux qui sont assez stratégiques, etc.
00:02:46 :Et on s'est rendu compte qu'au début, on faisait apprendre à l'IA les règles de la machine,on lui passait des exemples, etc.Elle arrivait à nous battre au fur et à mesure les joueurs,et au fur et à mesure, elle est devenue imbattable.
00:03:01 :Dans son domaine, c'est quelque chose qui est très assez pour nous,mais c'est souvent des domaines de calcul, d'accord ?Souvent, on a un type d'encodage de ces jeux-là, d'accord ?
00:03:12 :Et en fait, on joue un petit peu dans le domaine de l'IA,ça veut dire que tout ce qui est éléments, etc., c'est quelque chose qu'on sait,
00:03:18 :les règles sont fixes, les lois, etc., et tout est fixe.Donc c'est quelque chose qui est, elle, imbattable.Mais le problème, c'est qu'un jour, on s'est dit, ok, mais si on voyait IA et langage ?
00:03:31 :Donc le langage, c'est quelque chose qui est assez difficile, en fait,parce qu'il y a pas mal de concerns dans le TAL,donc pour le traitement automatique de cette langue-là.
00:03:42 :Donc déjà, il faut déjà se penser la question sur, un mot, comment ça se représente ?Parce que quand on est dans un milieu informatique, d'accord ?
00:03:52 :On parle souvent de vecteurs, d'une représentation vectorielle, matricielle,donc on essaie d'encoder tout ça dans un univers mathématique, d'accord ?Et on va dire, bah, les mots, c'est pas quelque chose qui est assez évident,parce que, bah, des mots, on en a beaucoup, des langues, on en a beaucoup,
00:04:10 :et puis surtout, en fait, parfois, on a un peu des ambiguïtés parmi les mots.C'est-à-dire que, bah, par exemple, là, si je prends la phrase« je regarde l'homme sur la colline avec un télescope »,bah en fait, on peut déjà avoir cinq sens différents.
00:04:25 :Je les ai un peu répertoriés sur l'image de droite, comme vous pouvez le constater.Et en fait, ça, l'ambiguïté, la machine, elle aime pas.Dès que c'est un problème qui est vraiment pas décidable, on va dire,où il y a plusieurs possibilités, bah la machine, elle aime pas,et l'ambiguïté, c'est quelque chose qui a été souvent source de problème.
00:04:47 :Après, on a réussi, au fur et à mesure de l'évolution du TAL,notamment, donc, bah, par exemple, l'ambiguïté,on peut le retrouver un petit peu dans les compilateurs, d'accord ?
00:04:57 :On a eu des lois, des gens comme Chomsky,qui ont trouvé des techniques, des méthodes,pour pouvoir pallier ça et essayer d'avoir une représentation assez unique, d'accord, d'une phrase.
00:05:11 :Donc, des mots réels ou pas.Parfois, on a des mots qu'on a dans la langue, alors si je prends la langue française,on a des mots qui n'existent pas dans un vocabulaire.
00:05:19 :Si je prends du largon, des mots qui viennent,qui sont souvent liés, par exemple, à des régions de France, d'accord ?Si je commence à dire, un peu, par exemple,alors là, j'ai pas un exemple, mais si je prends, par exemple, le pastaga,c'est une expression pour dire le pastis, voilà.
00:05:37 :C'est une expression assez marseillaise.Ça, on va dire que, voilà, c'est pas quelque chose qui est dans le grand Larousse, d'accord ?Sauf le fleuveur de ma part.
00:05:49 :Mais voilà, à chaque fois, en fait, on a de nouveaux mots qui sont générés,on a des mots qui sont créés, tout simplement,on a des patterns, souvent...
00:05:58 :Alors, j'entends pas mal les gens disent aussi, pour quantifier quelque chose,de le dire, il y a un grand nombre de données,ils disent, il y a tarpin de données.
00:06:08 :Pourtant, le mot tarpin, bah, il n'existe pas, voilà.C'est quelque chose qui a été créé au fur et à mesure.Donc, voilà, la langue évolue, c'est pas quelque chose qui est fixe.
00:06:15 :On a toujours une évolution de ce point de vue-là.Et j'ai pris le français, mais j'aurais pu prendre n'importe quel autre langage.Si je prends l'anglais, ils ont leur jargon, ils ont des nouvelles abrégations, etc.
00:06:25 :On a aussi, donc, en lien avec ça, la quantité de données.Elle augmente, parce que, bah, pour stocker toutes ces choses-là,donc, si je prends, par exemple, la taille d'Internet,bah, ça croît au fur et à mesure des années,de manière un peu, si je puis dire, pas exponentielle,
00:06:43 :mais qui est, ouais, qui est assez vertigineux, quoi.Chaque année, on a des quantités de données qui explosent,on a des data centers qui deviennent de plus en plus gros,qui peuvent stocker de plus en plus d'informations, d'accord ?
00:06:55 :Alors là, je prends le cas des textes, mais ça peut être le cas des images,le cas de n'importe quoi.Tout ce qu'on a sur Internet, c'est phénoménal, quoi.
00:07:03 :Donc, voilà.Et on a aussi le fait de parler, en fait, de la contrainte de compréhension du langage.Voilà.Parfois, quand on est, par exemple, au collège ou qu'on est un nourrisson,afin de comprendre le langage, c'est quelque chose qui est difficile, d'accord ?
00:07:20 :C'est une tâche complexe qui requiert, en fait, pas mal d'entraînement, d'accord ?Donc, quand on est petit, bah, souvent, par exemple,quand on apprend à marquer, bah, souvent, au début,on va se casser la bouche, on va réussir à marcher deux, trois mètres,après, on va se rendre compte qu'on va faire un pas de travers, ça n'a pas marché.
00:07:38 :Pour le langage, c'est pareil.Au début, quand un parent parle à son enfant, il va lui dire des phrases.L'enfant ne va pas forcément comprendre,donc il va lui demander de s'adapter avec des mots que lui comprend, d'accord ?
00:07:51 :Des mots plus faciles.S'il prend une phrase soutenue,peut-être qu'elle sera beaucoup plus difficile à comprendrepour une personne qui a 5 ans que pour une personne qui a 25 ans, mort 45.
00:08:01 :Et puis, on a souvent des compréhensions différentes.Si une personne, alors ça, c'est plus avec des maladies, comme la dyslexie, par exemple,elle va comprendre différemment le langage.
00:08:11 :Donc, c'est quelque chose qui est vraiment pas,qui est très complexe dans le traitement automatique des langues.Alors, par rapport à tout ça, en fait, au fur et à mesure des années,on s'est adapté un petit peu à tout ça, d'accord ?
00:08:27 :Et on a su trouver, en fait, des moyens computationnelspour pouvoir améliorer un petit peu ces systèmes qui permettent de résoudre ces contraintes-là, d'accord ?
00:08:39 :Donc, j'ai mis 4 dates clés, qu'ils soient liées avec l'émergence du Deep Learning.Alors, dans ma précédente vidéo, j'avais fait une petite intro là-dessus,donc je vous propose de la regarder si jamais ça vous intéresse.
00:08:51 :Donc, en fait, le Deep Learning, au début,quand on a commencé, la première fois, à parler de réseaux de neurones,à parler de neurones, c'était en 1957, avec un psychologue américain,Frank Rosenblatt, qui s'est dit, ok, je vais essayer de prendre le neurone biologiqueet je vais le programmer de manière mathématique, voilà.
00:09:10 :Donc, ça, c'est quelque chose qu'ils ont fait.Après, ils ont commencé à empiler les différents neurones, à créer des réseaux neuronaux.Mais le problème, c'est que ça ne marchait pas parce qu'ils ne savaient pas vraiment pourquoi.
00:09:22 :Donc, il y avait des algorithmes qui ont été, au fur et à mesure des années,trouvés, comme la propagation du gradient,qui permettait de mettre à jour, en fait, les différentes couches de notre réseau de neurones.
00:09:33 :Et ça, ça a déclenché un boom.Après, on a réussi, en fait, à...Donc, à partir des années 2000, on a commencé à s'intéresser à...
00:09:43 :Bon, si je prends, par exemple, une image,comment une machine va pouvoir, en fait, voir cette image ?Donc là, on parle de vision par ordinateur, donc computer vision.
00:09:54 :Là, on a commencé à extraire des caractéristiques.Donc, ça, ce soit sur les images, ça soit sur des vidéos, etc.Voilà, ça, c'est la plupart des éléments.
00:10:03 :Parce qu'en fait, une vidéo, ça peut être vu comme une matrice en quatre dimensions.Une image, une matrice en trois dimensions avec un filtre RGB,avec la quantité de rouge, de bleu et de vert.
00:10:16 :Et du coup, il y a eu une apparition, en fait, qu'on appelle les CNN.Donc, les CNN, ça a vraiment été quelque chose qui a fait un grand boom.
00:10:26 :Donc, j'ai fait une petite vidéo aussi sur ces réseaux-là de convolutionqui ont été introduits par Yann Lequin.Et en fait, pourquoi j'en parle dans l'émergence du deep learning ?
00:10:35 :Parce que ça a été un des premiers à faire des datasets qui commençaient à vraiment être grands.Alors, pour la petite histoire, il s'intéressait à ces chercheurs français.
00:10:45 :Qui étaient aussi chercheurs au CNRS, enfin, chercheurs aux Etats-Unis.Qui est maintenant d'ailleurs le président de la partie IA chez Meta, quand même.C'est un des pères fondateurs.
00:10:57 :Il a voulu en fait enregistrer, faire des reconnaissances visuelles des codes postaux aux Etats-Unis.Donc, il a créé une grande base de données des chiffres qu'on connaît, donc de 0 à 9.
00:11:08 :Et en fait, il y a eu un encodage.Il me semble peut-être que c'est 40 000 images.Des images de taille 28 par 28 pixels.
00:11:16 :Où sont représentés, en fait, les chiffres en manuscrit.Et en fait, il a commencé avec ces fameux CNN à faire de l'extraction de données.De l'extraction de caractéristiques, de changements d'espace, etc.
00:11:27 :Bon, ça c'est bien beau.Mais pour le texte, en fait, les CNN, ça a été utilisé.Mais ce n'est pas ce qui a vraiment été un big bang.
00:11:38 :C'est-à-dire qu'au début, on avait pas mal de chercheurs comme Markov.Ici, il y a un autre chercheur qui lui s'intéressait à comment prédire, par exemple, par rapport à un mot.
00:11:51 :Essayer de faire de la génération de texte, comme on connaît avec GPT-3.Ça, ça ne marchait pas très bien parce qu'on avait souvent des dépendances entre les mots pendant une phrase.
00:11:59 :Et ça, c'est une hypothèse qui a longtemps été maintenue.Et qui a été cassée à partir des années 2015-2017 quand on a vu apparaître les réseaux réclans.
00:12:12 :Donc les RNL, les STM et tout.J'en ai aussi parlé dans une des vidéos.Et notamment avec l'apparition des transformers.Alors les transformers, c'est quelque chose qui a vraiment fait un big bang.
00:12:24 :C'est ça qui a vraiment lancé le TAL ou le NLP en anglais.Donc Natural Language Processing.Qui a vraiment lancé ça, notamment avec...En fait, ces réseaux-là sont des réseaux récurrents.
00:12:38 :Mais qui ont aussi une caractéristique en plus, c'est qu'ils ont une sorte d'attention.C'est-à-dire qu'ils vont vraiment être attentifs à ce qui se passe dans un texte.
00:12:48 :Et ces transformers-là, à faire tourner, ça prend vraiment beaucoup, beaucoup, beaucoup de ressources.Et en 2020, OpenAI sort en fait GPT-3.Donc à base de transformers.
00:13:04 :Donc le T de GPT, c'est pour Transformers.Ils en ont empilé une centaine.Si je ne dis pas de baisiers, une centaine.Ils ont lancé ça sur une énorme quantité de données.
00:13:14 :Dont on verra après.Et ils ont lancé ça, et ça a marché.Ça a commencé à faire de la génération de texte.Maintenant, il y a GPT-4 qui est sorti.
00:13:23 :Donc avec la génération d'images, de texte aussi.Et voilà, on a souvent une apparition de l'émergence de l'IA qui a été faite.Après, on a pas mal d'autres domaines qui se sont mis en parallèle.
00:13:39 :Voilà, on a tout ce qui est reconnaissance vocale.Donc avec Siri, par exemple, ou Alexa.Les traducteurs automatiques, comme Grammarly, par exemple.Grammarly, c'est pas tant un traducteur, c'est plus un...
00:13:51 :Grammarly, en fait, il va corriger les fautes d'orthographe dans un texte.Mais les traducteurs automatiques, c'est comme Google Traduction, par exemple.On a les systèmes aussi de Chatbot.
00:14:03 :Chatbot, c'est un système où vous parlez à la machine.La machine vous répond.D'accord ?Comme OpenAI, comme Copilot.D'accord ?Et on va avoir des analyseurs de sentiments et des correcteurs orthographiques.
00:14:15 :Voilà, comme Grammarly.Bon, ça, c'est bien beau.Mais du coup, grosso modo, si je vous dis que ça, je ne vais pas parler de la quantité de données.
00:14:23 :Voilà.Et la quantité de données, en fait, c'est venu avec...Donc, à la fois, on avait Transformers.Et à la fois, on a commencé à parler des Large Language Models.
00:14:32 :Donc, c'est des modèles de langage qui ont été appris sur une énorme quantité de données.D'accord ?Alors, quand je parle de quantité de données énorme, je n'ai pas de chiffre à vous donner.
00:14:43 :Mais je vais vous donner une équivalence, sachant que GPT-3 et GPT-4,ils ont eu en entrée l'équivalence de tout ce qu'il y a en texte sur Internet.
00:14:54 :Donc, je vous laisse imaginer la quantité de données que ça fait.Ça fait plusieurs centaines de milliers de teraoxys.Et GPT-3, par exemple, pour faire tourner, pour qu'il apprenne par lui-même comment faire tout ça,il a mis six mois d'entraînement sur Data Center.
00:15:11 :Donc, pour vous donner, en termes de rejet en tonnes,ça faisait plus de 200 tonnes de CO2 qui étaient rejetées.Juste pour faire tourner ce modèle-là.
00:15:21 :Après, ils ont ajouté en fait beaucoup plus de Transformers.Ils ont ajouté beaucoup plus de neurones.Avec BERT, on était à 345 millions.Avec GPT-3, on est passé à 175.
00:15:32 :Et avec GPT-4, on les cime entre 500 et 1000 milliards de neurones.Donc, c'est vraiment une quantité énorme.C'est quelque chose qu'on ne peut pas coder.
00:15:43 :Là, par exemple, tout à l'heure, je parlais un peu des GAN.Bon, on ne peut pas coder en local.Moi, ça ne dépasse pas les 12 millions, par exemple.
00:15:50 :Sinon, la machine explose.Donc là, c'est des fermes de GPU.C'est vraiment des choses qui sont...C'est des quantités de données qui sont énormes.Et c'est seules les grosses entreprises qui peuvent faire tourner ces systèmes-là.
00:16:01 :Même, par exemple, à Marseille, sur les centres de recherche,ils ont un cluster où ils peuvent faire tourner une grande quantité de données.Bon, ce n'est pas là-dessus qu'on fait tourner un LLM, par exemple.
00:16:13 :Ce n'est pas assez puissant.Donc, on est vraiment dans des choses qui dépassent l'entendant,qui marchent, parce que, bien,GPT-4, l'hardware, ça s'améliore au fur et à mesure.
00:16:23 :On a aussi des modèles d'images,comme, par exemple, 1000 journées,qui va lui générer des images à partir du texte.On lui fournit une phrase en entréeet il va essayer d'améliorer tout ça.
00:16:37 :Donc, voilà, ça, c'est pour faire un petit résumé sur le fait quele traitement automatique des langues, ça ne touche pas que les langues,même si on en l'indique.
00:16:45 :Ça touche vraiment tous ces domaines-là, et plus.Et ces domaines-là sont en pleine expansion.La reconnaissance vocale, par exemple, Siri.Là, on s'est rendu compte que Siri,ça fait 2-3 ans que ça marche trop bien.
00:16:58 :Je ne sais pas si vous avez des iPhone ou des Mac.On a vraiment un gros problème par rapport à ce point-là.Et du coup, le but, récemment, ils ont voulu...
00:17:09 :Il y a Apple qui a commencé à contacter OpenAIpour récupérer le modèle,pour en fait faire une collaboration pour améliorer Siri,parce que Siri, il ne peut rien faire face à GPT.
00:17:22 :Ce n'est vraiment pas les mêmes puissances, les mêmes données,et puis les mêmes créations.Les mêmes créations en Siri, ça date depuis 2009, je dirais.
00:17:33 :OpenAI, maintenant c'est 2020, 2021.On sait faire quelque chose de beaucoup plus puissant.Pour vous récapituler un petit peu ce qu'on a dit,les principales domaines, c'est la traduction automatique,l'assistant virtuel, l'analyse de sentiments.
00:17:47 :Ça, ça se fait beaucoup, notamment dans les réseaux sociaux,quand on veut, par exemple, il y a souvent des bots sur Instagramqui vont checker s'il y a dans votre comportement,des comportements de haine, des agressions, des choses comme ça.
00:17:59 :À plus grande échelle aussi, par exemple,là c'est vraiment dans l'extrême, en Chine,ils ont développé une IA qui permettait par rapport à la population,au visage de la population,de voir s'il y avait une certaine agressivité ou pas.
00:18:16 :Une analyse faciale, sentimentale,et s'il y avait vraiment un danger de contacter les autorités.On est vraiment loin.Là, c'est un peu l'extrême et on n'en est pas là pour parler de ça.
00:18:28 :On peut faire aussi des résumés automatiques de texte.Par exemple, vous avez un grand papier à sortir,un grand texte pour pouvoir faire un résuméqui va vous sortir les idées principales.
00:18:42 :Ce genre de système-là, je ne sais pas trop comment ça fonctionne.Je sais que ça existe, mais je ne pourrais pas trop vous l'expliquer.On peut faire de la classification de texte et filtrage d'email.
00:18:51 :Les spams, notamment détecter quand vous avez un nouveau mail,est-ce que c'est un spam produit ou pas.Il y a une entreprise française qui s'appelle Thalesqui a recueilli pas mal de stagiaires.
00:19:05 :Par exemple, j'avais une offre pour pouvoir faire des analyses de sentimentsdans l'email pour savoir si, par exemple, la personne,ce n'était pas un bot qui était derrière et qui a envoyé l'email.
00:19:17 :Je trouve ça quelque chose d'assez important.Les progressions, c'est l'apparition des transformers en 2017par Owasuni et ses collègues chercheurs.Aujourd'hui, on ne sait pas faire mieux que les transformers.
00:19:29 :On arrive à un stade où...On peut toujours faire un petit peu mieux,mais ça, c'est la base de ce que va avoir des modèlescomme BRGP234, bientôt 5 qui va sortir.
00:19:40 :Pour l'instant, ce sont les limites qu'on a aujourd'hui.Les difficultés actuelles qu'on peut rencontrer,la compréhension contextuelle fine et la gestion des ambiguïtés.La gestion des ambiguïtés, on l'aura un petit peu toujours.
00:19:53 :Même si on diminuera, on n'arrivera jamais à quelque chose de parfait.La réduction de débit dans le modèle, c'est quelque chose qui est important.Notamment, en fait, comme je vous dis,GPT3 et GPT4, enfin tous les GPT,mais je prends l'exemple parce qu'on l'a étudié en cours.
00:20:09 :Avant, vu qu'il apprend sur tout ce qu'est Internet,il apprend aussi des textes qui sont haineux,des phrases qui sont des contenus vraiment horribles.Et avant d'être déployé sur le marché,on a ce qu'on appelle un Human Rewardqui va paraître, pour améliorer le modèle,on va filtrer des caractères qui ne sont pas voulus par les personnes.
00:20:39 :C'est-à-dire, imaginons, vous vous insultez de chaque GPT,sans le filtrage, il va vous insulter en retour.Ça, c'est tout simplement.Et là, ce qui s'est passé, c'est que le modèle a été donnéà une quantité humaine astronomique.
00:20:54 :Notamment, ça a été fait en Inde,où des gens étaient mis dans une pièce,ils parlaient avec l'IA,et en fait, elles disaient, OK, est-ce que le retour qu'ils m'envoient,est-ce que c'est quelque chose qui est bien ?
00:21:07 :Est-ce que le texte est suffisamment ?Est-ce que le texte n'est pas, comment dire,n'est pas trop duleux, n'est pas agressif ?C'est vraiment quelque chose d'assez simple.
00:21:18 :Donc ça, c'est quelque chose qui se fait de plus en plus.Et notamment, quand vous posez une question à chaque GPT,vous pouvez mettre un pouce vers le haut ou un pouce vers le baspour voir si vous avez aimé ou pas la réponse.
00:21:30 :Voilà, c'est quelque chose qui se fait pour améliorer le modèle.Donc ça, c'est la raison pour laquelle on est biais.Adaptation à des langues sous-représentées.
00:21:38 :Ouais, on a pas mal de langues qui n'ont pas forcément été apprises, d'accord.Donc ça, c'est plus...Alors peut-être pas pour les grands modèles,mais peut-être pour d'autres modèles où certaines langues,on n'a des fois pas assez de données.
00:21:49 :Si tu prends, par exemple, les langues mortes,qui ne sont pas très connues dans des pays assez retirés.Bon, on peut toujours mieux faire.Chaque année, Internet expose, la quantité de données expose.
00:21:59 :Donc ces modèles-là peuvent être à nouveau, d'une nouvelle fois,être re-entraînés.Donc voilà, ça, c'est quelque chose qui ne va pas s'essayer d'évoluer dans le futur,parce qu'au fur et à mesure, l'homme déploie de nouvelles technologies.
00:22:14 :Il y a des nouvelles actualités qui se passent.On n'est pas de manière statique.Donc c'est quelque chose qui est toujours en mouvement.Alors j'ai marqué un petit résumé aussi sur les perspectives futures.
00:22:25 :Donc développement de modèles encore plus puissants et spécialisés.Ça, c'est ce que j'ai dit.Donc à chaque fois qu'ils s'entraînent au fur et à mesure.
00:22:33 :Application multimodale, texte, images, voix.Alors ça, c'est par exemple des modèles qui vont croiser différentes entrées.Par exemple, pour ODB, pour GPT 3.5, quand il est sorti, c'était seulement du texte.
00:22:45 :Maintenant, GPT 4.0 peut générer des images.Il va se servir d'un autre modèle qui s'appelle DALI.Alors, dans des vidéos, il ne me semble pas, mais il peut créer, par exemple, des fichiers GIF.
00:22:56 :Je lui passe plusieurs images, je lui demande de faire un fichier GIF.Bon, il sait le faire.On aimerait aussi croiser l'image et la voix. Pourquoi ?
00:23:03 :Parce que pas mal de recherches sont basées maintenant pour pouvoir créer des vidéos à partir d'une IA.Donc ça, j'ai vu un compte sur Instagram, par exemple.
00:23:13 :Il s'amusait en fait à parler à mille journées.Et à partir de ça, il commençait à créer des vidéos avec des transitions, etc.C'était super beau. Je vous conseille vraiment d'aller le voir.
00:23:24 :C'est mille journées même.Maintenant, le défi qui va se poser, c'est est-ce qu'on peut créer des films, peut-être, ou des vidéos entières, qu'avec de l'IA ?
00:23:35 :Alors, on commence à savoir le faire. Il y a des recherches qui sont réalisées.Mais on n'a pas encore des films sur grande salle.Donc, ils sont encore un peu restants.
00:23:45 :Et ça a un impact sur la société, les industries, les interactions homme-machine.Ça a un impact sur la société parce que, déjà sur l'environnement,pour entraîner ces modèles-là, c'est des modèles de langage.
00:23:56 :Ils ont une quantité astronomique en entrée de données.Donc, ils sont obligés d'apprendre. Ils ont un impact sur l'environnement.Ça pollue, ça fait froid dans le Groenland, tous ces trucs-là.
00:24:06 :Ça a un impact sur la société parce que pas mal de personnes, en fait, ont peur de se retrouver au chômageparce que ça va un peu remplacer certains métiers.
00:24:13 :Mais il faut savoir que ça va créer aussi de nouveaux métiers.Souvent, moi, j'ai pas mal de retours, notamment sur...J'ai une collègue qui est caissière qui m'a dit ça.
00:24:24 :Elle dit, ouais, mais bientôt, c'est des IA qui vont nous remplaceret nous, on aura plus de métiers, etc., ou même des programmeurs.Oui, mais ça va créer de nouveaux métiers.
00:24:32 :C'est-à-dire qu'après, on aura quelque chose qui va être de la maintenance,qui va pouvoir améliorer ces systèmes-là.Alors là, de suite, je n'ai pas de gros exemples à vous donner.
00:24:41 :Déjà, ça génère de nouveaux ingénieurs, de nouveaux développeurs.Donc là, dans l'informatique, on a des nouveaux métiers.Après, dans la partie graphique, on a des nouveaux arts qui vont se créer.
00:24:53 :Si une personne va générer des peintures, ça va l'aider à faire d'autres trucs.Le but, c'est vraiment que ça puisse aider l'humain à améliorer son quotidien.
00:25:01 :Donc ça trouve notamment des solutions.Alors là, je parle un petit peu du sujet du Tal, mais ça, c'est plus de manière globale.J'ai PT4, il va falloir que des gens l'utilisentparce que ça permet de corriger les bugs sur son code.
00:25:13 :Je suis le premier halluciné.Quand vous avez un problème, on ne sait pas où il est,ou vous voulez coder un autre modèle pour faire de la convolution,et vous dites, je ne sais pas combien de pixels, c'est pas 25, c'est 32.
00:25:24 :Lui, il vous trouve la solution en claquement de doigts.En plus, là, il y a eu encore un modèle qui est preview 0.1,qui est encore plus putain, mais en fait, ça ne s'arrêtera jamais.
00:25:35 :Voilà, donc du coup, c'est la fin de la présentation.Je vous remercie de l'avoir suivi.J'espère que... Alors, j'ai fait une présentation assez généralepuisqu'il y a pas mal de personnes qui ne sont peut-être pas forcément liées avec l'IA.
00:25:49 :Donc, si vous avez des questions, c'est le moment.Je serais vraiment ravi d'y répondre. Voilà.Super. Moi, j'avais un petit truc à voir avec toi.
00:26:00 :Tu parlais tout à l'heure de l'analyse des sentiments,tu sais, dans les mails que vous receviez pour savoir si c'était un botou si c'était quelqu'un qui avait écrit le mail.
00:26:10 :Mais sur une quantité de données aussi faible qu'un mail,on arrive à détecter si c'est un bot ou pas, quoi.Alors, en fait, ce qui se passe, c'est que la quantité de données,elle n'est pas faible parce qu'en fait, en entrée,on va lui donner un ensemble de textes et on va les classifier en disant
00:26:29 :ça, c'est une fraude, ça, ce n'est pas une fraude.On va entraîner un modèle de langage qui va reconnaître ça.Et ensuite, on va lui passer un texte en entrée et il va nous prédire si c'est ça ou pas.
00:26:39 :Mais l'entraînement de ce modèle-là, il est fait en amont sur une quantité de donnéesqui a été annotée, je ne sais pas, on peut prendre par exemple150 000 mails, tu vois, et à ce moment-là, on fait une analyse des sentiments.
00:26:53 :Après, alors ça, c'est un peu l'idée globale, comment ça pourrait se faire.Je n'ai jamais fait trop d'analyse de ce côté-là.Après, l'analyse des sentiments, c'est souvent, moi, j'ai fait la miseoù j'avais pris un ensemble d'audio que j'avais annoté de 1 à 10 en termes d'agressivité, par exemple.
00:27:12 :J'avais entraîné un modèle et il arrivait à me classifier parce qu'il trouvait une fonctionqui pouvait séparer ces classes-là.Donc là, ça serait un petit peu pareil, notamment avec le texte.
00:27:21 :Le son et le texte, c'est quelque chose qui se rapproche quand même pas mal.Ok, ça marche.Et du coup, tu parlais aussi du GPT-4.
00:27:33 :Tout à l'heure, tu disais qu'il avait mis 6 mois à manger l'équivalent d'Internet.Donc du coup, là, il a accumulé toutes ces données-là de 6 mois,mais après, il continue à s'entraîner tout seul sur ce qui arrive en plusou il s'arrête à être précis en fait ?
00:27:53 :Alors là, par rapport à ça, on n'est pas sûr à 100 %parce que OpenAI cache un petit peu ça, mais on a déjà une idée.
00:28:01 :Alors je crois que c'est GPT-3 qui a mis 6 mois, mais ça a mis un temps énorme.En fait, ce qui se passe, c'est que dans un premier temps, il y a une phase d'apprentissageet dans un deuxième temps, il y a un Human Reward qui va permettre de filtrer
00:28:13 :et de rendre d'adoucir le modèle.Comme je disais, pour enlever tout ce qui est acteurs racistes, féministes,enfin toutes ces choses-là.Ça, ça va être fait après et ça va prendre beaucoup de tempsparce que c'est les humains qui vont faire.
00:28:26 :Là, on a vraiment la présence de l'homme.Donc il nous faut des millions de personnes qui vont faire ce travail-làet ensuite, ça va être envoyé sur développer.
00:28:38 :Après, il existe une technique qu'on appelle le Fine Tuningqui permet d'améliorer un modèle par rapport à un modèle qui a déjà été appris.Si par exemple, je veux effectuer une reconnaissance d'image, de portrait par exemple.
00:28:57 :Si je connais déjà une IA qui a déjà fait ce truc-là, qui a été appris sur ImageNet.Donc ImageNet, c'est une base de données astronomique sur les images.
00:29:07 :Si ça a déjà été pris, je peux récupérer les poids d'activation de ce réseau-làpour les appliquer aux miens.Et ça permet d'améliorer encore plus le modèle.
00:29:18 :Après, exactement comment ça fonctionne chez OpenAI, je ne pourrais pas te le direparce que je ne le sais pas et personne ne le sait pour l'instant.
00:29:24 :Mais en fait, c'est un petit peu des hypothèses qu'on pourrait envisager.Ok, ça marche, merci.Est-ce que vous avez d'autres questions par hasard ?Ouais, parce que... Ah bah, vas-y Pierre.
00:29:44 :Je vais regarder un petit peu sur le... comment ça s'appelle ?Ah bah, il te demande si le modèle peut s'entraîner pendant que tu t'en sers.
00:29:55 :Alors non. En fait, ce qu'il se passe, c'est que le modèle,c'est d'abord la phase d'entraînement et après la phase de généralisation.C'est-à-dire que là, il va s'entraîner, il va minimiser une fonction d'erreur,qu'il va apprendre, et ensuite, quand il a terminé, hop,il va pouvoir faire ces choses-là.
00:30:15 :C'est une chose qui tombe bien distincte en fait.C'est d'abord l'apprentissage et après la mise en service.Et puis au tout début de la présentation aussi, tu parlais de l'interprétationde ce qu'on nous donne à Lya avec l'histoire de l'homme sur la colline avec le télescope.
00:30:42 :Et ça, ça ne peut pas être réglé avec le prompt engineering.Si tu sais comment il faut que tu parles vraiment à Lya,ça la rend elle aussi plus efficace parce que tu sais lui parler.
00:30:56 :Alors par rapport à ça, ce qui s'est passé, c'est une bonne question.Moi, je m'étais demandé aussi comment elle faisait pour casser un peu cette ambiguïté.
00:31:05 :Et la question, c'est qu'en fait, on ne sait pas.Pourquoi ? Parce qu'en fait, si tu veux, cette phrase-là va être vectorisée, d'accord ?Et en fait, elle va réapparaitre dans un contexte.
00:31:15 :Donc sur Internet, il y a forcément quelqu'un qui a dit cette phrase-là,qui l'a expliquée ou quoi, tu vois.Et en fait, elle va se servir de ça pour ensuite casser l'ambiguïté.
00:31:27 :Donc en fait, il faut imaginer qu'à chaque fois, ce qui va se passer, c'est que ce type de bot,il n'y a pas vraiment de réflexion, il n'y en a pas du tout.
00:31:35 :C'est un peu du marketing de dire qu'il y a vraiment une intelligence derrière ça.Pour ma part, simplement, il va prendre ta phrase,il va prédire le mot d'après par rapport à sa grande quantité de données,et ensuite, il va continuer la génération comme ça.
00:31:55 :Et à la fin, ça va marcher, en fait.Grâce au mécanisme des transformers, donc de l'attention, etc.Donc en fait, il va se souvenir de ce qu'il a déjà appris, etc.
00:32:04 :Après, comme ça paraît un petit peu flou,mais quand on se dit qu'il a appris sur tout,bah en fait, ça paraît moins flou, quoi.
00:32:14 :Enfin, flou dans le sens où c'est impressionnant qu'un modèle ait pu apprendre sur tout,mais d'un autre côté, si c'est tout, sur ce qu'on sait déjà les hommes,bah du coup, il sera forcément...
00:32:27 :Si quelqu'un s'était déjà posé la question, il le saura, quoi.Ouais, d'accord, ok, je vois.J'ai plus de batterie, je vais juste brancher mon PC.
00:32:39 :Non, bon, moi sinon, je n'ai plus de questions. Je te remercie.Bah je t'en prie, écoute, parle devant le, parce que j'ai plus de batterie sur mon téléordinateur.
00:32:56 :Il n'y a pas de soucis, t'inquiète.Il est parti, mon truc.Ah, c'est bon, c'est bon, j'ai rentré ma...J'espère que ça n'a pas coupé.
00:33:03 :Coupe pas !Hop.Ça y est, je suis sauvé.Bah écoutez, merci pour l'enregistrement aussi, c'est vraiment sympa.Je vais le mettre sur mon YouTube, d'ailleurs, dès que vous aurez mon...
Aucune occurrence trouvée pour « ».
