有人可以帮助我了解令人不快的统计信息。我正在尝试优化AWS实例的抓取抓取速度。我当前的抓取抓取速度是：INFO: Crawled 32429 pages (at 72 pages/min), scraped 197 items (at 0 items/min)
如果抓取抓取速度为72页/分钟，什么是32429页？绝对不是32429页/秒...
Crawled X pages 它是Scrapy抓取时收到的HTTP响应的总数。
仅供参考，logstats模块负责您在控制台上看到的报告。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句