V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3537 days ago, the information mentioned may be changed or developed.
这两天突然发现很多都爬取不了,把失败的 url 丢进去一看,发现都需要登录才能浏览了.
平时是自己弄了个代理池,每次爬都从代理池里面随机取代理爬的.
这样都被反爬了还有什么好的方法吗?
 |
1
petelin Aug 26, 2016 via Android
登录进去拿到 session 就行了，又没说 session 和 IP 必须一匹配，不知道你什么意思。
|
 |
2
qianlifeng Aug 27, 2016
我也发现了，还在想怎么弄
|
 |
3
ljcarsenal Aug 27, 2016
求教你们整天爬来爬去的有什么经济价值？
|
 |
4
bf68 Aug 27, 2016
@ljcarsenal 同问
|
Select Language