Scrapy
按页计算最省的爬虫
Scrapy 下载 HTML 并直接解析,全程不启动浏览器,因此比其他方案轻上一个数量级。它的异步引擎能在单个进程里同时保持数百个请求在途,内置的限速也能避免把被抓的站点压垮。
VPS Mini 每天能处理数万页;只有当瓶颈变成解析而不是下载时,才需要往上升级。
获得可靠的高端 Linux VPS,性能更优,多个全球节点,专属资源仅供您使用!
选择系列
选择机房位置
新功能现在订购 VPS 时即可安装开箱即用的应用和您自己的脚本。浏览应用
无合约期
*续费同价
无合约期
*续费同价
无合约期
*续费同价
无合约期
*续费同价
无合约期
*续费同价
5 分钟内开通
我们随时为您服务
服务器遍布 10 多个国家
Ultra-fast speed
没找到合适的方案?立即创建您的专属 VPS 解决方案。
独享性能、完整 root 权限、最高 10 Gbit/s 网络和 7×24 小时支持--放心部署项目所需的一切。
该用哪一个,取决于一个问题:你要抓的页面是在服务端还是在浏览器里生成内容?答案会改变你应该下单的机器。
按页计算最省的爬虫
Scrapy 下载 HTML 并直接解析,全程不启动浏览器,因此比其他方案轻上一个数量级。它的异步引擎能在单个进程里同时保持数百个请求在途,内置的限速也能避免把被抓的站点压垮。
VPS Mini 每天能处理数万页;只有当瓶颈变成解析而不是下载时,才需要往上升级。
面对只有跑完 JavaScript 才存在的页面
Playwright 以无头模式驱动真实的 Chromium、Firefox 或 WebKit,因此它看到的就是脚本执行之后访客看到的内容。这份还原度是有代价的:每个实例都是一个真正的浏览器,内存占用也是。
按每个并发浏览器约 1 GB 内存估算 —— VPS Plus 的 8 GB 和 4 vCPU 能从容跑上几个。
当一台机器不够用时
Selenium Grid 把浏览器会话分派到多个节点,并统一藏在一个入口后面:一次采集就是这样越过单台服务器的边界的。把 hub 和节点放在不同的 VPS 上,还能把一次崩溃限制在单个节点内。
给 hub 一个小方案,把内存留给节点:每个节点常见的规格是 16 GB 的 VPS Max。
抓取的特点是把网络和内存都压满,却几乎不碰磁盘。任务真正失败的地方,就在这四点上。
一百万个 HTML 页面约 50 GB;同样一百万个页面在 headless 浏览器中渲染,连同图片和字体,要大好几倍。所有套餐均不限流量:您按带宽(最高 10 Gbps)来选择,而不是按月度配额。
无头浏览器依然是浏览器:按每个并发实例约一 GB 内存计算,再据此选型。不带浏览器的 Scrapy 则相反,在小方案上也绰绰有余。
采集天然是长时间的;笔记本和办公室的网络却不是。VPS 持续运行、保持固定 IP,也让计划任务在指定时刻自动重新启动作业,无需有人守着。
无头浏览器需要系统库和字体包,而托管平台通常不允许安装它们。KVM 给你一套完整系统和 root:apt install 的表现和在你自己的机器上一模一样。
每个抓取项目都始于一台笔记本,又都因为同样的三个理由离开它:机器会休眠、家庭 IP 会变、任务比工作日更长。VPS 一次性解决了这三件事 —— 它一直开着、保有一个独立 IPv4,而一条 cron 记录或一个 systemd 定时器会照常触发运行,不管你在不在。
它同时把采集和分析分开了。服务器负责收集并写入数据库或对象存储;你的工作机去查询结果。正是这种分离,避免了一份数据集只活在某台笔记本的某个文件夹里,也因此大多数团队最后会有两个方案:一个小的跑爬虫,一个大的跑消费其输出的东西。
Infrawire 正不断扩展全球布局,让您的基础设施更贴近您的客户与用户。更低的延迟、稳定的性能,以及在您业务增长市场中的本地化部署。
此处显示的每个延迟均从您的网络连接实时测得。
同样的机器、同样的机房、同样的面板 - 变化的只是你在上面安装的软件。如果你的项目介于其中两个页面之间,上面任何一款方案都能胜任。
选型、流量、IP 地址,以及什么是被允许的。
如果你的爬虫像 Scrapy 那样直接解析 HTML,就从 VPS Mini 开始:它能撑到比你预期更远的地方。一旦要跑无头浏览器,就换到 VPS Plus 或更高,因为每个并发实例大约要吃掉一 GB 内存。
及时了解最新的优惠、折扣和特别促销活动。
我们使用Cookie
我们使用分析性Cookie来改善您在我们网站上的体验。数据不会出售给第三方。了解更多请查看我们的 隐私政策.