Scraping avec Python
Pourquoi apprendre le Scraping?
Le but principal du scraping c'est de récupérer de la data pour ensuite l'utiliser et la manipuler.
Malgré l'essor du big data, certaines data ne sont pas téléchargeables, il faut donc passer par le scraping (API ou web).
L'idée est d'automatiser les tâches (ou requêtes) afin d'obtenir des milliers de data (exemple emails, adresses postales, résultats sportifs, météo, etc...)
Pourquoi apprendre le Scraping?
Une différenciation est faite entre le web scraping et le web crawling
Web crawling : récupérer toutes les informations d’un site
Ex: Google
Web scraping : récupérer un sous-ensemble des informations d’un site
Ex: comparateur de prix.
Architecteure Scraping
Que dit la loi ?
On se réfère au droit d’auteur et au droit sur les bases de données
C’est encore assez flou !
Il faut prendre en compte la charte d’utilisation/mentions légales du site
Ex: societe.com
Ne pas mettre en danger le bon fonctionnement du site visé Faire attention à ne pas partir dans un DDOS !
De nombreux business sur le web scraping
Des technologies variées
Exemple de mise en œuvre
Comments