scrapyd 怎么可以让爬虫定时采集

2018 年 8 月 14 日
 SpiderXiantang

看了一下 scrapyd 的 api 感觉功能好少啊 而且对分布式也没有支持 我现在遇到的问题是是需要采集一家电商网站 然后反复爬取 进行价格的监控 请问下有没有大佬有思路

4415 次点击
所在节点    Python
5 条回复
SpiderXiantang
2018 年 8 月 14 日
还有就是如何同时启动分布式爬虫 求思路！
zzj0311
2018 年 8 月 14 日
crontab 了解一下？
masha
2018 年 8 月 15 日
分布式可以试试 scrapy-redis
SpiderXiantang
2018 年 8 月 15 日
@masha 我用的 scrapy-redis 但是不知道怎么协同启动爬虫 我需要反复的监控这个网站
my8100
2018 年 11 月 14 日
@SpiderXiantang 如何简单高效地部署和监控分布式爬虫项目 https://study.congcong.us/t/507933

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/479775

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX