scrapyd 部署不会添加外部文件吗

2020 年 11 月 23 日
 tuoov

尝试使用 scrapydweb 部署项目,但是那些需要导入外部文件(包含 urls 的文本文件或 json)的爬虫全部上传失败了,报错都是 FileNotFound 。没有这种依赖的爬虫能够正常地部署并使用,有什么解决方案吗?

1745 次点击
所在节点    Python
3 条回复
yagamil
2020 年 11 月 24 日
egg
tuoov
2020 年 11 月 24 日
@yagamil 我通过绝对路径检查了一下,好像在 egg 化项目时的确不会打包这些文件,是我处理的方式有问题还是设计就是这样?
Kobayashi
2020 年 11 月 27 日
不会。部署时先打包(还 TM 是个 egg 包),然后交给 scrapyd 。我记得可以配置 setup.py 打进去,但没什么用,你加载不了文件。你需要理解 egg 包是不被解压的,我的理解是你不能 open("my_pkg.egg/.env") 直接打开压缩包内文本文件。需要写到 .py 文件,在其他位置导入。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/728328

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX