需长期 python 爬虫兼职

2014 年 12 月 19 日
 rubylove
针对类似如下网站,http://app.zjepb.gov.cn:8089/nbjcsj/
1. 按照规定的数据库表的格式,将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
算法要求:
1,从之前向现在的时间取爬取,这样如果因为网络等原因断开后,再次开始时,能自动从更早的时间点开始爬取。
2. 如果超时,至少要有3次重试。再超时,或者发生错误时,能发送邮件给指定人。
3. 性能:内存不能超过300M, CPU使用率不能超过30%,数据库链接数需控制在5个以内。
4. 数据库:已设计好,使用postgresql.
5. 任务调度:需使用celery。


因为需爬取的各类资源比较多,因此希望尽可能长期合作。
9372 次点击
所在节点    酷工作
22 条回复
cloudzhou
2014 年 12 月 19 日
这个我比较擅长 :-)
mutoulbj
2014 年 12 月 19 日
这个可以有
rubylove
2014 年 12 月 19 日
@cloudzhou 请联系QQ18028206
@mutoulbj
keenturbo
2014 年 12 月 19 日
支持一下
zhkzyth
2014 年 12 月 19 日
还有这样的活~~=.=
zeuss
2014 年 12 月 19 日
@mutoulbj 呀,这不是木头哥哥么
iewgnaw
2014 年 12 月 19 日
你这不是要数据,是要程序啊。写完了,合作就完了?
ming2050
2014 年 12 月 19 日
这叫兼职?
fooevr
2014 年 12 月 19 日
CPU使用率不能超过30%这个要求很奇怪
9999999999999999
2014 年 12 月 19 日
@fooevr 估计是他要跑三个实例,
fooevr
2014 年 12 月 19 日
@9999999999999999 我不是说对CPU有限制奇怪, 而是什么级别的CPU呢?
wibile
2014 年 12 月 19 日
这种要求还需要用celery???
icedx
2014 年 12 月 19 日
我怎么觉得这个似乎发过一次
wangfeng3769
2014 年 12 月 19 日
个人表示很可以吧
9999999999999999
2014 年 12 月 19 日
@fooevr 不管什么级别的CPU啊。 打个比喻: 我雇佣工人做事情,我一共有100元,我需要雇佣三个工人,当然给每个工人的报酬不能超过30元。
fooevr
2014 年 12 月 20 日
@9999999999999999 恩 我知道你说的是人民币.
xuelang
2014 年 12 月 20 日
@fooevr 好含蓄啊,哈哈哈
R4rvZ6agNVWr56V0
2014 年 12 月 21 日
这哪是兼职啊。。。 要么叫做长期项目,要么叫做remote
RangerWolf
2014 年 12 月 21 日
@icedx 你的感觉是对的 这个帖子跟之前的内容完全一致
wangfeng3769
2014 年 12 月 21 日
这个项目估算一下价格,看看需要多少钱。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/155034

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX