问一个数据处理的技巧，定时采集一个页面上的链接，怎么比对、记录第二次采集发生的新增、减少？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 2592 days ago, the information mentioned may be changed or developed.

采集信息包括链接及标题，其中链接有可能增加、减少以及减少之后又恢复，应该怎么进行比对和记录呢？

2 replies • 2019-03-27 19:50:02 +08:00

x1596357

Mar 27, 2019 via iPhone

一堆 diff 算法，找找吧

C1tas

Mar 27, 2019 via Android

定向采集可以提前所有需要的链接拼接后算 hash 第二次如果 hash 相同就终止