Scrapy
Najtańszy crawler w przeliczeniu na stronę
Scrapy pobiera HTML i parsuje go bez uruchamiania przeglądarki, przez co jest o cały rząd wielkości lżejszy od alternatyw. Jego asynchroniczny silnik utrzymuje setki żądań w locie z jednego procesu, a wbudowane ograniczanie tempa chroni zbierane witryny przed przeciążeniem.
VPS Mini obsłuży dziesiątki tysięcy stron dziennie; wyżej wchodź dopiero wtedy, gdy wąskim gardłem stanie się parsowanie, a nie pobieranie.







