如何批量抓取谷歌搜索每项结果的链接页面

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

› Google Play

› 9to5Google

This topic created in 3599 days ago, the information mentioned may be changed or developed.

不是谷歌的结果页面，是结果页面里每个链接点进去的第一个页面抓取， page only 或者文本都行。

请问如何实现，谢谢！

5 replies • 2016-06-29 09:02:03 +08:00

knightdf

Jun 28, 2016

提取链接跟进抓取啊

klklklkl

Jun 28, 2016

@knightdf
谢谢，我用 GScraper 抓去了链接，请问有什么简便的方法在 win7 下批量根据抓取的链接下载页面？

ho121

Jun 28, 2016 via Android

太频繁会输验证码的

suduo1987

Jun 29, 2016

按照你的频率 ,可以考虑 google apps script

knightdf

Jun 29, 2016

@klklklkl 把链接再丢到任务队列里去