Scrapy
Der sparsamste Crawler pro Seite
Scrapy holt HTML und wertet es aus, ohne je einen Browser zu starten — das macht es um eine Größenordnung leichter als die Alternativen. Seine asynchrone Engine hält Hunderte Anfragen aus einem einzigen Prozess in der Luft, und die eingebaute Drosselung verhindert, dass Sie die gesammelten Seiten überrennen.
Ein VPS Mini schafft Zehntausende Seiten am Tag; wechseln Sie erst, wenn das Parsen und nicht das Abrufen zum Engpass wird.







