V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2635 days ago, the information mentioned may be changed or developed.
需要带的数据为 data = {"a": [{"b": 'c'}]} 我用的这种写法一直不对, return scrapy.FormRequest( body=json.dumps(data), )
 |
1
butterfly1211 Feb 11, 2019
不需要 json.loads 直接传字典试试
|
 |
2
mapnaqi OP 试过, 不行, formdata 传字典, 或者 body 传 json 都是 状态码 408 的错误
|
|
3
butterfly1211 Feb 11, 2019
可以试着传一下抓包 body 的截图，如果是"?1=2&3=4"这种的话需要可能需要换个思路
|
|
4
mapnaqi OP @butterfly1211 数据长这个样子, b 是一个编码, 是数字和英文的
data = {"lineItems": [{"catalogNumber": b}]} 用 requests 写没问题, 用了 scrapy 就是 408, |
|
5
butterfly1211 Feb 11, 2019
试一下，request = scrapy.Request( url, method='POST',
body=json.dumps(my_data),）方式 |
 |
6
airect Feb 11, 2019  1
body 里是 json 字符串，headers 中加 Content-Type: application/json
|
|
7
mapnaqi OP @butterfly1211 还是不行
|
|
8
mapnaqi OP 408 Request Time-out
|
|
9
butterfly1211 Feb 11, 2019 1
FormRequest 中 {‘ key': ‘ value', ‘ k': ‘ v'}会被转化为'key=value&k=v' 并且默认的 method 是 POST，你可以再看一下 body 的原始格式，看是这种 key-value 的形式还是 json 格式在作分析
|
 |
11
encro Feb 12, 2019
抓包，或者写一个测试用例接受请求过来的 body 和 head，比较有什么不同，实在不行用 request 替代好了。最新的 request-html 已经自带 html 解析，满足大部分爬虫场景。
|
 |
12
luoleng Feb 15, 2019
formdata=data
|
Select Language