kakadong's recent timeline updates kakadong's recent timeline updates |
kakadongV2EX member #220901, joined on 2017-03-14 14:58:23 +08:00 |
kakadong's recent replies
Mar 30, 2017 Replied to a topic by dsg001 › Python › 用 requests 替代 scrapy 的下载器，发现速度很慢，求解 |
不好意思没认真看，下载了两遍是我说错的，你在 process_request 里返回了 response ，那 scrapy 就不会再去下载这个网页，但这样，并发就完全没有了，跟单线程用 requests 没什么区别
Mar 30, 2017 Replied to a topic by dsg001 › Python › 用 requests 替代 scrapy 的下载器，发现速度很慢，求解 |
你这是在乱搞啊，下载中间件是负责修改每个 request 和 response 的，是不做下载这个动作的！你在里面加一个 requests.get 操作，等于每个网页你都下载了两遍，而且这个 get 操作还是同步的！！
Mar 30, 2017 Replied to a topic by kuoxen › 酷工作 › [招聘] 上海浦东－数据工程师－ 主 BI 方向，发展可选爬虫或 ML—10k+ |
请问招爬虫工程师吗
Select Language