Screaming Frog SEO Spider
Эталонный краулер, он же самый прожорливый
Screaming Frog SEO Spider обходит сайт так же, как это сделал бы поисковик, и сообщает о найденном: коды ответа, цепочки редиректов, дубли заголовков, страницы-сироты. В режиме по умолчанию он держит весь обход в памяти, поэтому размер сайта, который можно проверить, задаёт оперативная память машины.
Считайте около 4 ГБ RAM на каждые 500 000 URL в режиме памяти — VPS Max с 16 ГБ закрывает большинство аудитов.


