This topic created in 4369 days ago, the information mentioned may be changed or developed.
单机爬虫我已经会弄了
但是分布式不会弄
数据库是postgresql
在我想象中，分布式爬虫是这样的：
一个控制中心，控制所有爬虫，给他们分配任务，并得到爬虫返回的结果
我的疑问是，
问题1： 怎么实现，控制中心给每个爬虫比较平均的分配任务，用什么框架 什么算法 来实现？
问题2： 比如我有60个爬虫，他们怎么和控制中心通信 有什么框架 或者算法来实现吗
但是分布式不会弄
数据库是postgresql
在我想象中，分布式爬虫是这样的：
一个控制中心，控制所有爬虫，给他们分配任务，并得到爬虫返回的结果
我的疑问是，
问题1： 怎么实现，控制中心给每个爬虫比较平均的分配任务，用什么框架 什么算法 来实现？
问题2： 比如我有60个爬虫，他们怎么和控制中心通信 有什么框架 或者算法来实现吗
 |
1
cdwyd May 15, 2014  1
|
 |
2
Altman May 15, 2014 1
http://scrapy.org/ 用这个吧
|
 |
3
fdsfsdfsdf3334 OP |
Select Language