V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 4367 days ago, the information mentioned may be changed or developed.
我在尝试一个模拟登录chiphell的程序时，发现浏览器返回的页面是完整可解析的，但是我的python程序返回的是Transfer-Encoding: chunked, Connection:close。。。完全不知道该怎么解析一团乱码的返回数据。。。但是明明在header里面设置了Connection:keep-alive的。
跟进urllib2发现这句话‘We want to make an HTTP/1.1 request, but the addinfourl
# class isn't prepared to deal with a persistent connection.’
我郁闷，哪位大侠知道怎么解析chunked数据？或者说换个http库可以支持keep-alive？
先谢了。
跟进urllib2发现这句话‘We want to make an HTTP/1.1 request, but the addinfourl
# class isn't prepared to deal with a persistent connection.’
我郁闷，哪位大侠知道怎么解析chunked数据？或者说换个http库可以支持keep-alive？
先谢了。
10 replies • 2014-05-21 16:52:30 +08:00
 |
1
yxjxx May 20, 2014  1
用requests吧
|
 |
2
phyng May 20, 2014
我就知道有人推荐requests……#说实话遇见requests再没有碰过urllib*
|
 |
4
ushuz May 20, 2014 via iPhone 1
是的，不支持，urllib2有历史了。用requests即可。
|
 |
5
fghzpqm May 20, 2014 1
是的，不支持。
是的，你应该换 requests. |
 |
6
shyrock OP 感谢各位回复，用requests去了。。。
|
 |
7
Niris May 21, 2014 1
chunked 需要自己解析。
格式说明可以看 http://www.w3.org/Protocols/rfc2616/rfc2616-sec3.html#sec3.6.1 。 处理起来也不难，可以参考 Guido 的实现 https://github.com/aosabook/500lines/blob/master/crawler/crawling.py#L233-L259 。 直接用 requests 当然更简单些。 |
|
9
Niris May 21, 2014
|
Select Language