Contourner les obstacles au scraping

00:00:00 :Dans cette partie, on va voir ce qui constitue ce qu'on appelle un scrapping éthique.Alors ce n'est pas une liste exhaustive, il y a plein de choses qu'il faut prendre en compte.
00:00:07 :Comme d'habitude, le mieux c'est de rester raisonnable et si vous avez le moindre doute, bien sûr,d'avoir un avis juridique pertinent.Donc qu'est-ce qu'on appelle scrapping éthique ? Il y a déjà deux choses à voir.
00:00:16 :Il y a un côté pour les scrappers et un autre pour les éditeurs de sites qui sont aussi concernés par le scrapping.Donc pour les scrappers, donc on appelle scrappers les gens qui vont faire du scrapping sur les sites,la première chose à vérifier, c'est l'existence d'une API publique qui fournit les données que je recherche.
00:00:31 :Il y a effectivement beaucoup de sites qui disposent d'APIs qui sont publiques, qui sont gratuites et qui vous permettent de récupérer les données sans avoir besoin de passer par le scrapping.
00:00:39 :L'avantage de ces APIs, c'est qu'elles vont être beaucoup plus encadrées que ce que vous pourriez avoir avec du scrapping.Donc déjà, ça va être plus facile pour vous et ça va être directement plus simple aussi pour l'éditeur de sites d'indiquer les limites de son API.
00:00:51 :Par exemple, il va indiquer dans la documentation le nombre de requêtes par minute qu'il est possible de faire,mais il ne va pas vous bloquer comme il pourrait le faire si vous faites du scrapping.
00:00:59 :Également, il est important d'indiquer dans le User Agent un moyen pour vous contacter en cas de problème.Donc le User Agent, c'est une chaîne de caractère qui va contenir les informations sur votre ordinateur, votre navigateur web, etc.
00:01:10 :Et vous pouvez modifier cette chaîne de caractère pour ajouter des informations,notamment votre adresse e-mail si vous le souhaitez,pour que la personne puisse vous contacter, puisse avoir un point de contact et savoir en fait qui est la personne qui va récupérer des informations.
00:01:22 :Également, il faut s'assurer de récupérer des données à un rythme raisonnable.Alors bien sûr, le rythme raisonnable, ça va dépendre selon les sites.Il y a des sites importants qui disposent d'une très bonne infrastructure qui va permettre d'encaisser beaucoup de connexions en même temps,et des plus petits sites qui ne vont pas permettre le même rythme raisonnable de scrapping.
00:01:39 :Le mieux, c'est de vous dire est-ce que vous pourriez faire ce scrapping à la main.Donc si vous récupérez des données plus rapidement que ce que vous pourriez faire à la main,c'est une bonne indication que peut-être le rythme n'est plus raisonnable.
00:01:49 :Également, il faut respecter le contenu que vous allez récupérer et le droit d'auteur dans la loi.Donc ne pas récupérer des informations pour ensuite les copier sur votre site et les présenter comme le vôtre.
00:01:58 :Là encore, c'est assez logique et c'est tout simplement du bon sens de ne pas récupérer des données pour les présenter comme les vôtres.Également, veillez à ne pas porter atteinte ou dupliquer des données existantes.
00:02:09 :Ça peut être intéressant des fois de récupérer des parties d'une information sur un site.Par exemple, si vous voulez faire de la veille informatique et informer vos lecteurs de nouveautés sur différents blogs,ça peut être un bon moyen d'amener du trafic supplémentaire vers ce blog.
00:02:21 :Mais là encore, attention, il ne faut pas copier l'intégralité des articles et faire en sorte qu'ils puissent avoir une confusion entre la source d'où viennent les articles.
00:02:28 :Donc ça peut être intéressant de contacter, là encore,les personnes vers lesquelles vous allez faire du scrapping pour leur indiquer que vous allez récupérer une partie seulement des données pour rediriger du trafic qualifié vers leur site sans non plus dupliquer ou donner l'impression que ces données viennent de vous.
00:02:43 :Donc ça, c'est pour les scrappeurs.Et maintenant, pour les éditeurs, il y a aussi des éléments à prendre en compte parce que bien sûr, en créant un site web, vous vous exposez de facto à être scrappé.
00:02:53 :La première chose, c'est de permettre tout simplement aux scrappeurs éthiques d'accéder à votre site tant qu'ils ne portent pas atteinte aux performances.Donc pour ça, vous allez notamment devoir respecter les entêtes user-agent transparentes plutôt que de les bloquer.
00:03:04 :Donc là encore, vous allez voir que le but de tout ça,c'est de faire quelque chose qui va être raisonnable.Donc si vous voyez que quelqu'un fait un scrapping trop important sur votre site,s'il indiquait dans le user-agent une façon de le contacter,eh bien contactez-le avant de le bloquer.
00:03:17 :Si jamais vous n'avez pas cette information,vous pouvez mettre des limites pour qu'il ne puisse pas faire un scrapping trop agressif.Et bien sûr, dernier point, de votre côté aussi,vous pouvez envisager la création d'une API publique qui va fournir les données.
00:03:30 :Là encore, ça va être utile d'avoir un dialogue avec les personnes qui peuvent être intéressées par vos données pour savoir quel type d'API et quel type d'informations vous pourriez retourner aux utilisateurs qui seraient intéressés par des données sur votre site.
00:03:42 :Donc vous voyez, là encore, le principal, c'est de faire usage de bon sens et de ne pas faire quelque chose qui puisse porter atteinte à un site.
00:03:49 :Et du côté des éditeurs, là aussi,comprendre que le scrapping peut avoir un intérêt pour vous et que ce n'est pas quelque chose qu'il faut directement bloquer avant même de savoir pour quelle raison le scrapping est effectué.

Rechercher sur le site

Formulaire de contact

Inscris-toi

Rechercher sur le site

Formulaire de contact