Python scrapy 怎么做成一个 flask 的接口

2019 年 6 月 6 日
 DOUWH

##我想了想,没想出来,

#比如:

调用 flask-api 接收参数,参数有 name:张三,age:30,sex:男。

爬虫程序 scrapy 需要拼接这些参数去完成 url 请求,返回 json,或者入库

思考下:

1.flask 怎么传递这些参数给 scrapy,scrapy 又怎么被 flask 所运行。
2.项目部署该怎么部署,是部署 flask-api 还是部署 scrapy ?
3.flask 和 scrapy  如何交互
4.有没有什么好的办法,把 scrapy 爬虫变成一个 api 接口,方便调用的那种


各位大佬,尽情的发表意见,小弟在线等
												
                                                
                                                	--来自 python 小白的呐喊
3599 次点击
所在节点    Python
6 条回复
djj510620510
2019 年 6 月 6 日
用 redis 或者数据库呗
chengxiao
2019 年 6 月 6 日
Scrapyd 了解下 剩下的就是调接口
midasplus
2019 年 6 月 6 日
关键词: scrapyd python-scrapyd-api
midasplus
2019 年 6 月 6 日
IanPeverell
2019 年 6 月 6 日
flask 把 url 存进一个 json 文件,然后用 scrapy.crawl 的 CrawlRunner 调爬虫,爬虫通过读 json 来读 url,爬出来的数据直接入库,flask 通过查增量来获取爬去的新数据。这样的话,只需要起一个 flask,然后爬虫跑在 flask 的进程中,通过 json 文件传 url
wwb721
2020 年 3 月 23 日
可以看看 scrapyrt

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/571384

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX