Home Sign Up Sign In
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  ConnorZhang776  ›  全部回复第 1 页 / 共 1 页
回复总数  2
2024 年 2 月 18 日
回复了 hard2reg 创建的主题 › Python › 断点续爬中的去重问题
我赞同使用 bloomFilter + redis 的方法，非常实用，只需要一个简单的 hash 就可以确定是否存在，且可以自定义重复率，个人觉得非常实用
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3602 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 10:49 · PVG 18:49 · LAX 03:49 · JFK 06:49
♥ Do have faith in what you're doing.