重构蜘蛛，现在选择是基于 crawlab 还是 DotnetSpider 还是其他更好的选择？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 2190 days ago, the information mentioned may be changed or developed.

自己写的基于 scrapy 的就像玩具，不够 scale up，而且数据库和轮询代理 ip 总是做不好。求个各位用的省心的框架，什么语言无所谓。谢谢

3 replies • 2020-05-06 23:07:35 +08:00

WilliamYang

May 3, 2020

说一句，Scrapy 已经是很好的框架，如果你觉得自己写得像玩具一样，是不是应该先考虑是否自己用得不好，而不是去寻找其它框架

beyondex

May 4, 2020 via Android

DotnetSpider 很棒，适合做大规模爬虫

tikazyq

May 6, 2020

crawlab 是管理爬虫的平台，可以跑任意爬虫框架，包括 scrapy 和 DotnetSpider