有谁懂爬虫的遍历算法,除了无脑广度深度遍历,有没有其他好的算法了?

2014 年 6 月 21 日
 briefcopy
3927 次点击
所在节点    程序员
1 条回复
Fzzf
2014 年 6 月 21 日
深搜,广搜,不都还是搜索问题吗?解决搜索问题能用的算法,迭代加深啊,A*,但是好的估价函数是通用不了的,我觉得吧,其实遍历算法不是很重要,重要的是解决一系列其它的问题,比如爬着爬着就要验证码了啊,当前那个链是一个环或者死链啊,爬虫效率啊.........

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/118734

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX