Data Scraping

Scraping avec Python

Pourquoi apprendre le Scraping?

• Le but principal du scraping c'est de récupérer de la data pour ensuite l'utiliser et la manipuler. 

• Malgré l'essor du big data, certaines data ne sont pas téléchargeables, il faut donc passer par le scraping (API ou web). 

• L'idée est d'automatiser les tâches (ou requêtes) afin d'obtenir des milliers de data (exemple emails, adresses postales, résultats sportifs, météo, etc...)

Pourquoi apprendre le Scraping?

• Une différenciation est faite entre le web scraping et le web crawling 

• Web crawling : récupérer toutes les informations d’un site

 Ex: Google 

• Web scraping : récupérer un sous-ensemble des informations d’un site 

Ex: comparateur de prix.

Architecteure Scraping

Que dit la loi ?

•  On se réfère au droit d’auteur et au droit sur les bases de données 

C’est encore assez flou !

•  Il faut prendre en compte la charte d’utilisation/mentions légales du site 

Ex: societe.com

• Ne pas mettre en danger le bon fonctionnement du site visé  Faire attention à ne pas partir dans un DDOS !

De nombreux business sur le web scraping

Des technologies variées

Exemple de mise en œuvre