异步任务， mq?celery?azkaban?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 3149 days ago, the information mentioned may be changed or developed.

有一个异步的脚本需要跑，似乎 mq/celery/azkaban 都可以实现
rabbitmq 有 gui，celery 好像只能看 log，azkaban 每次调度都可以看到单独的 log （ prefer ）
请教大佬们，从实用性和稳定性上看，使用哪一个会更好呢？

4 replies • 2017-09-30 22:52:06 +08:00

Phant0m

Sep 16, 2017 via iPhone

现成的轮子：airflow

julyclyde

Sep 16, 2017

celery 本身也需要 rq 的支持啊
这几个东西完全不能放在一起比较的

valkyrja

Sep 30, 2017 via Android

@Phant0m 谢谢看了一下好像是和 azkaban 一样的调度工具

valkyrja

Sep 30, 2017 via Android

@julyclyde 现在用的 celery 是用 redis 当 broker。。其实就是想实现一个稳定的异步任务，mq 可以消息来触发，azkaban 直接就可以调度。。但是不知道三者哪个更稳定一点。。