📊 Scrapy 数据分析 📊
-
📥 下载器信息：
- 请求的总字节数：
691,424 bytes - 总请求次数：
1790次 - 全部使用 GET 方法的请求：
1790次 - 接收到的响应字节数：
19,137,727 bytes - 接收到的响应次数：
1790次 - 接收到的 200 状态码的响应次数：
1790次 (从这些数据可以看出，所有的请求都成功得到了 200 状态码的响应哦!😃)
- 请求的总字节数：
-
🕐 时间信息：
- 爬虫运行时长：
297.4秒 - 爬虫开始时间：
2023-10-15 12:43:52 - 爬虫结束时间：
2023-10-15 12:48:49(效率还不错呢，几分钟就完成了!🚀)
- 爬虫运行时长：
-
📂 压缩信息：
- 响应的原始总字节数：
124,999,102 bytes - 使用 http 压缩的响应次数：
1790次 (经过压缩后，数据大小显著减小，节约了不少带宽!🎉)
- 响应的原始总字节数：
-
📝 爬取的项数：
- 总计爬取的项目数量：
52,781项 (爬取了大量的数据呢!📦)
- 总计爬取的项目数量：
-
🔍 日志信息：
- DEBUG 日志数量：
54,571条 - INFO 日志数量：
16条 (DEBUG 日志相当多，说明爬虫过程中有很多详细的记录。)
- DEBUG 日志数量：
-
💾 内存使用信息：
- 最大内存使用：
196,198,400 bytes - 初始内存使用：
112,492,544 bytes(从开始到最高峰，内存使用增长了不少，但似乎还在可接受范围内。🌟)
- 最大内存使用：
-
🔄 调度器信息：
- 出队的请求：
1790次 - 内存中出队的请求：
1790次 - 入队的请求：
1790次 - 内存中入队的请求：
1790次 (调度器正常运作，所有的请求都被处理了。🔄)
- 出队的请求：
🔚 总结：这次的爬虫任务运行相当成功，所有的请求都得到了预期的响应，并且在短时间内爬取了大量的数据。压缩技术也有效地减少了数据的大小。不过，可能需要关注内存使用情况，确保长时间运行或处理更大数据时不会出问题。🎈