scrapy 在一台电脑运行，多线程是如何工作的呀

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 4233 days ago, the information mentioned may be changed or developed.

scrapy 通过 start url 获取到了100个url，那么在抓这100个url的时候，是一个线程去抓的，还是它会自动把100个url进行分割，然后分给不同的线程去抓呀

1 replies • 2016-07-26 23:43:09 +08:00

caoxiaozh

Jul 26, 2016

scrapy 默认是 10 个线程的。