V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3149 days ago, the information mentioned may be changed or developed.
我是从 java web 转到爬虫和数据的，以前，也要自己写前端，但是看到阿里的这些前端的各种各样的东西，有些实在找不到请求发出的文件，找不到具体哪个请求可能设置了 cookie 或 session，还有很多前端加密的东西 也不是很熟
 |
1
hu0097 Sep 19, 2017
登录有加密的，刚入门搞不定的。用 selenium 吧
|
 |
3
LukeChien Sep 19, 2017
用 Chrome Headless
|
 |
5
fy Sep 19, 2017
需要 selenium/chrome headless
|
 |
6
shingle Sep 19, 2017
完全模拟是几乎不可能的，光`ua`参数的加密就够你受的了
|
 |
7
102400 Sep 19, 2017
搞定这个登录不会少于 1k 的，建议放弃或者直接找人买
|
 |
8
zzNucker Sep 19, 2017
1k 你想多了
起码 w 起 |
 |
10
regicide Sep 19, 2017 via iPhone
去逆向网易有财的 app 包看他们怎么实现的
|
 |
11
neoblackcap Sep 19, 2017
干爬支付宝的早死了，第频率的还可，高频率的，技术封了，触发风控系统，做爬虫很难解决的。
|
 |
12
binux Sep 19, 2017
用 requests 写个代理，然后把浏览器设置到你代理上，这算不算「完全用 requests urllib 写出来」？
|
 |
13
fiht Sep 19, 2017
无法量化
成本过高 不如用印度云手工登录生成 cookie |
 |
14
wuhau Sep 19, 2017
taobao 用 selenium，抓 cookie2，之前做淘宝客搞过这玩意。淘宝就不清楚了。
|
 |
15
ob Sep 19, 2017 via Android
现在稍微登录情景有点不一样，就开始手机验证，地址验证，各种验证。。
|
|
16
LukeChien Sep 20, 2017
起台虚拟机跑 Chrome Headless，可以搞
|
 |
17
Luckyray Sep 20, 2017 via iPhone
那个 ua 就卡死我了……
|
 |
18
FanWall Sep 20, 2017 via Android
来说一下～楼上 1w 也想多了，别说纯算法了，就是临时的解决方案也不是这个价格。
加密代码混淆且经常更新的，且都是业界顶级。 而且以支付宝的开发能力，我觉得这种前端加密在不远的未来就几乎无解：破了一个混淆？那我重新混淆下;破了混淆机制？那我换个混淆机制换个算法… 通用解决方案也许是对底层十分精通的人才能做到的吧。。写个专用的解释器出来？猜的。。。 |
 |
19
daimao Sep 20, 2017
你 xx 出多少， 我阿里出两倍（
|
 |
20
jingniao Sep 20, 2017 via Android
感觉不光是技术问题，淘宝支付宝现在动不动就手机验证之类的，风控麻烦
|
 |
21
huanglongtiankon Sep 20, 2017
想要纯技术突破还是别想了，最现实的解决方案是手工登录后拿到 cookies，然后再爬
|
 |
22
zgbgx1 OP @huanglongtiankon webdriver 登陆，拿到 cookies，然后再爬的已经做了，还有内置浏览器拿 cookies 的方案
|
 |
24
loveCoding Sep 20, 2017
淘宝的反爬虫不是开玩笑
|
 |
25
levon Sep 20, 2017
如果是去爬淘宝的网页，即使登录实现了，也意义不大。反爬虫机制级别很高。
|
 |
26
jccg90 Sep 20, 2017
成本很高，因为要登录，所以要找一堆账号来测试，失败了账号就被标记了，整天就各种验证。。。只能换账号
|
 |
27
m939594960 Sep 20, 2017
@FanWall #18 别想得这么难，这么贵。实际上私下多少人流通这套技术你也不知道。。而且算法不可能变动的那么频繁的，一年变一回就不错了
|
 |
28
ioriwong Sep 20, 2017 via iPhone
我做过虚拟机自动取得 Cookies 的方案
|
 |
29
googlebot Sep 20, 2017 via iPad
跟马云的余额宝都，需要勇气，
|
 |
30
sarices Sep 20, 2017
淘宝打开链接快一点都提示输入验证码，特别是各种电子票，旅游子类的。
|
 |
31
sola97 Sep 20, 2017
不敢想
|
 |
32
a234712524 Sep 29, 2017
@hu0097 请问你的联系方式多少，我有点事情想向你咨询
|
Select Language