写 Scrapy 爬虫时，遇到了 js 进行跳转的页面，大家有没有好的解决方法

请求时返回的相应内容是这样：
<html><head></head><body><script>window.location.href='https://XXX.xxx.com/';</script></body></html>
之前使用过 selenium 抓数据，但是效率太低，所以想请问一下大家有没有好的办法，在 scrapy 框架里拿到正常响应的请求

wylwang

2018 年 9 月 4 日

这个问题已经困了我一周，查了挺多资料，还是没办法，求大佬支招

bmos

2018 年 9 月 4 日

首先和 1 楼说的，顺着 href 爬。
不行的话看看是不是需要 cookie，我之前提问过，有的网站需要判断 cookie 值，没有的话，就会要求 js 跳转，有 cookie 就可以直接访问。
还有其他措施，要具体分析

crazycabbage

2018 年 9 月 4 日

返回链接继续爬，遇到 js 生成页面用 splash，不要用 selenium

uwh0am1

2018 年 9 月 4 日

splash 把，使用 qt 中的 webview 加载页面，可以运行页面中的 js 代码，使用简单

wylwang

2018 年 9 月 4 日

@whwq2012 所有返回这行代码的页面响应码都是 200,

encro

2018 年 9 月 4 日

如果只是这个，正则匹配下 url 继续爬啊

wylwang

2018 年 9 月 4 日

@bmos 忘了说，返回的 url 和请求的 url 是同一个，顺着 href 继续爬的话会无限循环这个响应内容

wylwang

2018 年 9 月 4 日

@uwh0am1 splash 我也考虑过，我的需求是请求索引页-->详情页-->详情页里的某个 href 字段共三级页面，实现起来比较麻烦

huaerxiela

2018 年 9 月 4 日

既然是无限循环的情况，可能是服务器验证有问题，要么你代码请求不规范，要么就是被反爬拦截了，排除代码问题后，着重看 cookie 变化或者 js 加密参数的情况

frankyxu

2018 年 9 月 4 日

5 楼说的有道理，可能是你没带 cookie 访问，我最近刚好也遇到了这个问题，带上 cookie 就好了

wylwang

2018 年 9 月 4 日

@frankyxu 对的，确实是这个问题，带上 cookie 可以成功访问了

wylwang

2018 年 9 月 4 日

@huaerxiela 是的，是因为没带 cookie，已经解决了，:)

testsec

2018 年 9 月 4 日

一般这种是要带上 cookie 去访问的

kidlfy

2018 年 9 月 6 日

@wylwang 想问一下，cookie 失效了要怎么办，只有更换这一种方法吗

yangyaofei

2018 年 9 月 25 日

@wylwang 同样这个网站出这个问题,我发现直接用 requests 就可以...所以....这是为啥...

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/485870

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.