最近准备爬取的一个网站遇到的瓶颈

发现该网站似乎是用了 distil networks 的反爬虫服务，如果需要拿到数据就必须带上 cookie，不带 cookie 的请求都会被直接返回 sessionStorage.setItem('distil_referrer', document.referrer); 而这个 cookie 的失效时间又很快，只有 5 分钟左右，并且用的次数多了，大概四五次也会失效，并且我使用 fiddler 跟踪，拿到所有 cookie 参数后，利用这个 cookie 依然无法拿到数据，请问广大社友们有遇见过这种情况吗？

wc110302

2018 年 9 月 27 日

https://i.loli.net/2018/09/27/5bac44a20e9c0.png 这是一直关于 distil networks 的 fiddler 跟踪图片 p 参数记录的是浏览器指纹我现在多次使用这个 p 参数是能拿到返回值的但是这个返回值拿不到正确的数据

ericgui

2018 年 9 月 27 日

@wc110302 做爬虫确实都很费劲的，毕竟不是 debug，有报错信息什么的

wc110302

2018 年 9 月 27 日

@ericgui 是挺费劲的啥都要学一点 js 要学接口要会做 app 端 wechat 端 pc 端得会抓包偶尔还得做个 GUI 什么的

wc110302

2018 年 9 月 27 日

@nooper 是尝试过的但是效率太低了不符合预期并且并发的情况也不太理想

wc110302

2018 年 9 月 27 日

@exip 参数应该没有遗漏我在使用某一个 ip 拿到所有 cookie 之后如果我使用这个 ip 真实地用浏览器访问了该网站那么我之前拿到的那个 cookie 就能使用一段时间具体原理我也不太明白也许是他们记录在了服务器上

wc110302

2018 年 9 月 27 日

@vegetta selenium 就是效率太低了并且该网站会检测无头无 js 这样也加大了服务器的负载

qwertty01

2018 年 9 月 27 日

这没办法。除了使用动态浏览器，就是得分析网站的 JS 了。

ctro15547

2018 年 9 月 27 日

用 selenium 生产 cookie 存着，爬虫去拿 cookie，超时或者超次数就换一个，这样多线程几个 seleniumdriver 来生产的 cookie，效率应该比只用 selenium 好不少

wc110302

2018 年 9 月 27 日

@richieboy cookie 是动态生成的没错我用相同的 P 参数每次从 response headers 里面拿到的 cookie 都不一样然后我将这些 cookie 拼接之后和正常生成的 cookie 对比了一下是一模一样的但是用这个 cookie 就无法拿到数据而真实的 cookie 就可以并且有趣的是我如果用该 ip 去真实访问了这个网站这个 cookie （我自己 requests 伪造生成的）也可以用了

jtwor

2018 年 9 月 27 日

meituan 好像也是这样 cookie 还好弄只是 5 分钟后触发防爬虫的原因不太确定奥塞头:(

yy461530593

2018 年 9 月 27 日

先用浏览器正常请求操作，抓包看请求过程，模拟这个请求过程，如果浏览器操作也是会更新 cookies，那代码上也只能跟着更新

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/493052

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.