Scrapy
Le crawler le plus économique par page
Scrapy récupère le HTML et l'analyse sans jamais démarrer de navigateur, ce qui le rend un ordre de grandeur plus léger que les alternatives. Son moteur asynchrone garde des centaines de requêtes en vol depuis un seul processus, et sa limitation de débit intégrée évite de matraquer les sites collectés.
Un VPS Mini traite des dizaines de milliers de pages par jour ; montez seulement quand l'analyse, et non la récupération, devient le goulot.







