This topic created in 3257 days ago, the information mentioned may be changed or developed.
最近玩 scrapy 终于掌握了 采集规则 下载图片 发布到 WORDPRESS
但是现在感觉抓取效率十分低下。
抓取的 CPU 总是只能跑 5%。
带宽也跑不起来。 有没有办法查到到底是哪里导致的 delay 我看别人抓取 CPU 都是 80%左右。
 |
1
meepo3927 May 31, 2017
不懂后端，
猜测应该是瓶颈在 I/O ？ 线程开的不够多？ |
 |
2
xiaoyu9527 OP |
Select Language