用python 做爬虫，抓取网站，在抓取的过程中会碰到重复的网址，随着抓取网址的越来越多，网址库越来越大，如果每次爬到网址都去网址库对比一下 是否重复，这样的结果就是效率越来越低了，有什么办法或者算法 提高过滤重复网址的效率？

2013 年 4 月 11 日
 soho176
11514 次点击
所在节点    Python
23 条回复
charnugagoo
2013 年 4 月 14 日
很大的话，一般用bloomfilter, 如果再大或者是分布式爬虫的话就需要更高级的东西了。
PS：似乎还可以同时考虑做simhash，找出重复页面。
Zuckonit
2013 年 4 月 19 日
hash啊。。。。。常量级
h4x3rotab
2013 年 4 月 19 日
数量没有达到分布式的级别的话，哈希表就完全可以满足你的要求，任何一个实现良好的哈细表都能提供O(1)的查询和修改时间，也不会出错

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/65589

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX