Contourner les obstacles au scraping

00:00:00 :Dans cette partie, on va voir comment utiliser le réseau de proxy résidentiel de Bright Data pour contourner les blocages par limitation de requête et donc le blocage d'une adresse IP.
00:00:10 :Mais avant de passer à la pratique, on va d'abord s'intéresser à ce qu'est un proxy et comment cette technologie fonctionne.Un proxy, c'est tout simplement quelque chose qui va être entre vous et le serveur auquel vous voulez accéder.
00:00:23 :Dans un cas classique, vous avez votre ordinateur personnel avec une adresse IP qui vous est donnée par votre fournisseur d'accès à internet.Par exemple, en France, ça peut être Orange, Bouygues, SFR, etc.
00:00:34 :Et vous avez un site auquel vous souhaitez accéder,donc vous allez envoyer une requête vers les serveurs de ce site.Par exemple ici, lebeaucoupin.fr.Vous faites donc une requête vers ce serveur et le serveur vous renvoie la réponse.
00:00:46 :Et vous pouvez faire cela encore et encore jusqu'à ce qu'un moment, peut-être,le serveur vous bloque parce qu'il considère que soit vous êtes inscrite,soit vous avez fait trop de requêtes, même si vous ne passez pas forcément par un script,il peut décider quand même que ça suffit, vous avez trop abusé,
00:01:01 :et il bloque donc votre adresse IP.Ça peut être un blocage de plus ou moins longue durée.Il peut décider de vous bloquer pour quelques secondes, quelques minutes, voire indéfiniment.
00:01:10 :Et c'est là qu'on peut faire intervenir un proxy.Le proxy va se placer entre vous et le serveur auquel vous souhaitez accéder.Vous allez donc faire une première requête vers un serveur, qui est le serveur de proxy,qui va transmettre votre requête au site auquel vous souhaitez accéder.
00:01:24 :Et de la même façon, en retour, le serveur va envoyer au proxy les informations que vous souhaitez récupérer et le proxy va vous les transmettre pour que vous puissiez y avoir accès.
00:01:33 :Et ce serveur qui sert de proxy, il a également son adresse IP,qui va être différente de la vôtre, et c'est de cette façon que vous allez pouvoir continuer à faire des requêtes grâce à ce proxy vers le site qui vous intéresse.
00:01:44 :Mais là encore, le proxy peut, à un moment, être bloqué.De la même façon que vous, le site LeBeauCoin peut considérer que ce proxy avec cette adresse IP a également fait trop de requêtes.
00:01:54 :Et dans ce cas-ci, vous pouvez utiliser une rotation de proxy,rotation qui va être gérée automatiquement par le service de proxy de Bright Data que je vais vous présenter.
00:02:03 :Et ainsi, en changeant d'adresse IP, vous pouvez de nouveau accéder au site,et ainsi de suite, à chaque blocage, vous changez d'adresse IP.Et ainsi, vous vous assurez de ne jamais être dans une situation de blocage.
00:02:13 :Les proxys, c'est bien important de comprendre qu'il y en a deux types.Il y a les proxys de centres de données, donc les fameux datacenters, et les proxys résidentiels.
00:02:22 :La différence entre les deux, c'est que les proxys de centres de données,ils vont être plus rapides, moins chers et plus stables.Alors, plus stables, qu'est-ce que j'entends par là ?
00:02:31 :Non pas qu'ils vont fonctionner mieux que les proxys résidentiels,parce que vous allez voir que, assez rapidement, ces proxys peuvent être bloqués.Quand je dis plus stables, c'est-à-dire que les serveurs qui sont dans les centres de données disposent généralement d'une meilleure connexion et de meilleurs matériels que ce qu'un particulier peut avoir chez lui.
00:02:46 :C'est donc dans ce sens que je parle de stabilité ici,dans le sens où vous allez avoir du matériel qui va être beaucoup plus performant.
00:02:52 :Au niveau du proxy résidentiel, on a par contre quelque chose qui est beaucoup plus difficile à détecter de la part des sites web, parce qu'un proxy résidentiel, c'est exactement la même chose que si vous utilisiez votre propre ordinateur personnel pour accéder à un site.
00:03:05 :Donc il n'y a pas de différence pour le site web qui reçoit la requête entre vous et un proxy résidentiel.Il est donc plus fiable dans ce sens, mais il peut être un peu plus lent qu'un proxy de centre de données, parce que forcément ça va passer à travers des connexions
00:03:19 :qui vont être beaucoup plus éclectiques que ce qu'on pourrait avoir avec un centre de données.Et ça va être également plus cher qu'un proxy de centre de données.
00:03:27 :Donc le proxy résidentiel, c'est la solution vers laquelle on va se diriger si on veut être assuré de ne pas être bloqué.Le proxy résidentiel, la différence c'est que l'adresse IP va être fournie par un FAI,un fournisseur d'accès à internet, comme on l'a dit.
00:03:39 :Donc par exemple AT&T aux Etats-Unis, ou en France Orange, etc.Et donc c'est ça qui fait que l'adresse IP que vous allez utiliser et le réseau de proxy résidentiel va être la meilleure solution si vous voulez être absolument sûr de ne jamais être bloqué.
00:03:53 :Les proxys de centre de données, pour en avoir utilisé, c'est des proxys que vous pouvez utiliser dans des cas plus spécifiques, quand vous savez vraiment que vous n'allez pas être bloqué.
00:04:01 :Mais la plupart des sites grand public bloquent directement ces proxys qui passent par les centres de données.Donc si vous voulez accéder aux sites web que vous utilisez généralement,le proxy résidentiel va être à privilégier.
00:04:12 :Dans le cas de Bright Data, ils disposent des deux, donc vous pouvez choisir.Et dans l'autre cas, on va voir comment mettre en place les solutions de proxy résidentiel.
00:04:19 :Donc pour utiliser le réseau de proxy résidentiel, vous pouvez l'ajouter sur votre tableau de bord.Vous cliquez sur Add ici et vous ajoutez Residential Proxies.
00:04:28 :Moi j'en ai déjà un qui est créé ici, donc je vais pouvoir cliquer dessus pour accéder à sa configuration.Vous avez ici le host, le username et le password.
00:04:36 :Et c'est ça qu'on va utiliser pour générer l'URL qu'on va utiliser en tant que proxy.Vous avez différentes options ici.Vous pouvez ajouter un autre mot de passe si vous le souhaitez,pour avoir différents mots de passe pour différentes personnes ou différents usages.
00:04:47 :Vous pouvez également mettre des adresses IP ici qui vont être autorisées.Par défaut, elles sont toutes autorisées et il n'y a aucune adresse de bloqué.
00:04:53 :Donc vous pouvez mettre ici des adresses IP qui vont être les seules autorisées à utiliser ce réseau de proxy.Et vous avez quelques exemples de code ici à droite avec la documentation.
00:05:02 :N'oubliez pas d'activer votre proxy pour pouvoir l'utiliser.Et on va voir les exemples de code et comment on peut les utiliser avec le module Request.
00:05:09 :Dernière chose ici, vous avez la configuration qui est assez intéressante parce qu'on peut spécifier ici dans Geolocation Targeting un pays et également une ville.Donc si vous souhaitez pouvoir cibler également un état ou un pays ou même un zip code,donc un code postal, vous pouvez les ajouter ici.
00:05:24 :Ça va être un petit peu plus cher.Je vais rajouter City ici pour vous montrer comment on peut cibler un pays et une ville précises.
00:05:30 :Vous voyez qu'ici le coût a augmenté.Donc je vais cliquer sur Save.On va me dire que je vais passer d'un package de 10.5$ par giga à 21$ par giga.
00:05:39 :Donc je peux confirmer ici avec Yes.Et on va avoir également un dernier onglet Statistique ici avec un aperçu de la bande passante que j'ai utilisé avec ce proxy.
00:05:47 :Donc si je reviens dans Access Parameters ici,on peut cliquer sur Checkout Code and Integration Examples.Et vous allez avoir ici des exemples avec l'API avec Python.
00:05:55 :Donc vous voyez on a un script assez compliqué ici.On va voir que ça n'a pas besoin d'être aussi compliqué que ça.Là on a un script qui va vérifier en fonction de votre version de Python,si c'est avec Python 2 ou Python 3, quelle librairie utiliser.
00:06:05 :Donc là par exemple vous avez 6 et ici vous avez urllib.request.Donc on va utiliser le package request qu'on a téléchargé dans notre projet.Et ce qui nous intéresse ici c'est juste cette chaîne de caractères.
00:06:16 :Donc le dictionnaire avec la clé HTTP et la clé HTTPS qui va contenir l'URL de votre proxy.On va retrouver ici le nom d'utilisateur, le host et le mot de passe qui vont être intégrés directement dans l'URL.
00:06:27 :Donc vous pouvez copier tout ça ici.Et on va revenir dans notre script pour voir comment on peut l'implémenter.Donc dans mon script ici je fais une requête vers cette URL qui est l'URL qui est disponible ici sur votre tableau de bord.
00:06:38 :Donc vous voyez lumetest.com slash myip.json Donc vous pouvez accéder à cette URL si vous voulez voir ce que ça donne.Vous allez avoir un retour en JSON avec votre adresse IP, le pays, la ville, etc.
00:06:49 :Et donc si je reviens dans mon script je vais faire une requête vers cette API qui va me permettre de récupérer ces informations.Donc je lance le script et là on voit que pour l'instant je suis bien localisé au Portugal à Porto avec mon adresse IP ici.
00:07:01 :Et maintenant je vais prendre le dictionnaire que j'ai copié,je vais le mettre dans une variable que je vais appeler proxy et on va coller notre dictionnaire ici avec la clé HTTP et la clé HTTPS.
00:07:09 :Et ensuite il ne reste plus qu'à passer cette variable ici à un paramètre qui s'appelle également proxy.Donc ça c'est bien le nom du paramètre.
00:07:16 :Ici on pourrait l'appeler Patrick, c'est juste le nom de la variable.Et là on a proxy qui est le nom du paramètre auquel on va donner ce dictionnaire avec les proxys.
00:07:24 :Et là si je relance vous allez voir que notre adresse IP ainsi que le pays et la ville auront changé parce que on va passer cette fois-ci par un IP.
00:07:32 :Donc vous voyez que c'est un petit peu plus long.C'est ce que je vous disais dans des parties précédentes.Ça va prendre un petit peu plus de temps puisqu'on a un proxy entre nous et la requête.
00:07:39 :Donc on va faire notre requête au proxy.Le proxy va transférer notre requête dans ce cas-ci à cette URL LUMETEST et ensuite LUMETEST va renvoyer la réponse au proxy qui va de nouveau nous la renvoyer.
00:07:49 :Donc on a une boucle en plus qui fait que ça prend un petit peu plus de temps.Donc vous voyez que là je suis localisé en Australie à Sydney et que mon adresse IP a bien été modifiée.
00:07:57 :Et si je reviens sur mon tableau de bord dans Configuration,vous pouvez, comme on l'a vu ici, ajouter un pays et une ville.Si vous cliquez sur Learn More ici, vous allez arriver vers une page qui vous explique comment cibler un pays et une ville.
00:08:08 :Donc on voit ici qu'il faut modifier notre URL en rajoutant country-le-nom-du-pays et city-le-nom-de-la-ville si on souhaite également cibler une ville.Donc je vais revenir ici.
00:08:18 :On va voir comment on peut par exemple cibler la France.Après Zone Residential ici, je vais rajouter country-fr.Et si je relance, vous allez voir que cette fois-ci notre proxy est bien localisé en France avec une ville qui, pour l'instant, va changer à chaque fois.
00:08:32 :Donc si je le relance, on n'a pas ciblé la ville.Là vous voyez, on a une ville différente.On va arriver à d'autres villes encore.
00:08:39 :Vous voyez, on a des villes différentes à chaque fois.Et si vous voulez cibler une ville, vous pouvez le mettre ici donc avec "-city", et là on va mettre Paris.
00:08:47 :Et je vais le rajouter également ici.Et si je relance, là cette fois-ci, on va bien être en France à Paris à chaque fois.Donc si vous souhaitez cibler une ville, n'oubliez pas ici de bien rajouter city.
00:08:57 :Si vous enlevez city que je sauvegarde,vous allez voir qu'on va obtenir une erreur ici,donc proxy-error, parce que j'ai renseigné une ville ici, mais dans ma configuration,j'ai enlevé la possibilité de le faire dans Geolocation Targeting.
00:09:09 :Donc ça c'est très pratique si vous souhaitez cibler un site avec une version spécifique,puisque les sites peuvent varier en fonction de là où vous vous trouvez dans le monde. C'est assez courant qu'on ait des versions
00:09:17 :qui soient différentes, et également qu'on ait des prix différents en fonction de l'endroit depuis lequel vous accédez à un site.Donc ça peut être très pratique ici de pouvoir fournir ici le pays qu'on souhaite utiliser pour notre proxy.

Rechercher sur le site

Formulaire de contact

Inscris-toi

Rechercher sur le site

Formulaire de contact