有没有类似 yahoo pipes 的分布式任务管理调度后台？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 3312 days ago, the information mentioned may be changed or developed.

比如手上有一大堆处理 json 处理 xml 处理 rss 的过滤器，每个过滤器的作用是输入一些原始数据得到一个新的数据

现在我需要把上百个数据源和上千个过滤器，通过一个后台界面连接起来，形成一个 DAG 。这个连接过程希望是可以后台动态配置的，而不是需要改代码测试部署什么的。

有没有这样的开源系统？

看过 luigi airflow 感觉这个 DAG 都是代码指定的，并不能动态配置。

过滤器

dag

后台

代码

4 replies • 2017-05-16 12:33:24 +08:00