簡介
Apache DolphinScheduler 是一個分布式易擴展的可視化DAG工作流任務調度開源系統。適用于企業級場景,提供了一個可視化操作任務、工作流和全生命周期數據處理過程的解決方案。并且支持中文界面。
目前,DolphinScheduler 已經是業界知名的分布式可視化大數據工作流調度系統,被聯通、IDG、IBM、京東物流、聯想、新東方、諾基亞、360、順豐和騰訊等諸多公司使用
支持的任務類型(紅顏色為常用的任務類型)
- Shell:linux腳本,可執行JAVA任務
- Dependent:任務依賴
- Stored Procedure:存儲過程
- Hive CLI:執行HIve SQL
- SQL:jdbc連接關系數據庫執行SQL
- Spark:Spark任務
- MapReduce
- Python/ target=_blank class=infotextkey>Python
- Flink
- DataX
- Appendix
- HTTP
- Pigeon
- Conditions
- Switch
- SeaTunnel
- Amazon EMR
- Apache Zeppelin
- Jupyter
- Kube.NETes
- MLflow
- Openmldb
- DVC
- Dinky
- SageMaker
- ChunJun
- Pytorch
- SubProcess
核心功能1-任務配置
- 點擊工作流定義->創建工作流定義->上線工作流定義
核心功能2-日志查看
運行工作流定義->點擊工作流實例->點擊工作流實例名稱->雙擊任務節點->查看任務執行日志
核心功能3-告警配置
支持郵件、短信、釘釘、微信等告警方式