Apache Airflow

Apache Airflow
Apache Airflow logo
作者 Maxime Beauchemin / Airbnb
開発元 Apache Software Foundation
初版 2015年6月3日 (8年前) (2015-06-03)
リポジトリ
  • github.com/apache/airflow
ウィキデータを編集
プログラミング
言語		 Python
対応OS Windows、macOS、Linux
対応言語 Python
種別 ワークフロー管理プラットフォーム（英語版）
ライセンス Apache License 2.0
公式サイト airflow.apache.org
テンプレートを表示

Apache Airflowは、データエンジニアリングパイプライン用のオープンソースのワークフロー管理プラットフォームである。2014年10月[1]にAirbnbで開発が始まり、ますます複雑化する社内のワークフローを管理するためのソリューションとして作られた。Airflowを開発したことで、Airbnbはワークフローをプログラムで作成・スケジュールし、組み込みのAirflowユーザーインターフェイス経由でワークフローを監視できるようになった[2][3]。プロジェクトは当初からオープンソースとして公開され、2016年3月にはApache Incubatorプロジェクトになり、2019年1月にはトップレベルのApache Software Foundationプロジェクトになった。

AirflowはPythonで書かれており、ワークフローはPythonスクリプト経由で作成される。Airflowは「configuration as code」の原則に基づいて設計されている。XMLなどのマークアップ言語を使用する「configuration as code」に基づいたワークフロープラットフォームは他にも存在するが、Pythonを使用することにより、開発者がライブラリとクラスをインポートして、ワークフローを容易に作成できるようになっている。

概要

Airflowは、ワークフローのオーケストレーションを管理するために、有向非巡回グラフ（DAG）を使用している。タスクとその依存関係はPythonで定義され、Airflowはそのスケジューリングと実行を管理する。DAGは、定義されたスケジュール（例：1時間毎、1日毎）や外部イベントのトリガー（例：Hive上でのファイルの作成[4]）により実行できる。従来のOozie（英語版）やAzkabanなどのDAGベースのスケジューラは、複数の構成ファイルやファイルシステムツリーに依存する傾向があったが、Airflowでは、通常1つのPythonファイルとしてDAGを記述できる[5]。

マネージドサービス

コアのオープンソースプロジェクトに関する補助サービスの提供者としては、3つのプロバイダーがよく知られている。Astronomerは、AirflowのSaaSツールと、Kubernetesにデプロイ可能な、モニタリング・アラート・DevOps・クラスター管理を支援するAirflowスタックを提供している[6]。Google Cloud Platform（GCP）は、プラットフォーム上で実行されるAirflowのマネージドバージョンとして、Cloud Composerを提供しており、他のGCPサービスとよく統合されている[7]。Amazon Web Servicesは、2020年11月からApache Airflowのマネージドワークフローを提供している[8]。

出典

  1. ^ “Apache Airflow”. Apache Airflow. 2019年8月12日時点のオリジナルよりアーカイブ。2019年9月30日閲覧。
  2. ^ Beauchemin (2015年6月2日). “Airflow: a workflow management platform”. Medium. 2019年8月13日時点のオリジナルよりアーカイブ。2019年9月30日閲覧。
  3. ^ “Airflow”. 2019年7月6日時点のオリジナルよりアーカイブ。2019年9月30日閲覧。
  4. ^ Trencseni, Marton (2016年1月16日). “Airflow review”. BytePawn. 2019年2月28日時点のオリジナルよりアーカイブ。2019年10月1日閲覧。
  5. ^ “AirflowProposal”. Apache Software Foundation (2019年3月28日). 2019年10月1日閲覧。
  6. ^ Lipp, Cassie (2018年7月13日). “Astronomer is Now the Apache Airflow Company”. americaninno. 2019年9月18日閲覧。
  7. ^ “Google launches Cloud Composer, a new workflow automation tool for developers” (英語). TechCrunch. 2019年9月18日閲覧。
  8. ^ “Introducing Amazon Managed Workflows for Apache Airflow (MWAA)” (英語). Amazon Web Services (2020年11月24日). 2020年12月17日閲覧。

外部リンク

  • 公式ウェブサイト
  • 表
  • 話
  • 編
  • 歴
トップレベル
プロジェクト
  • Accumulo（英語版）
  • ActiveMQ
  • Airflow
  • Ambari（英語版）
  • Ant
  • Aries（英語版）
  • Arrow（英語版）
  • Apache HTTP Server
  • APR
  • Avro（英語版）
  • Axis
  • Axis2
  • Beam
  • Bloodhound（英語版）
  • Brooklyn（英語版）
  • Buildr（英語版）
  • Calcite（英語版）
  • Camel（英語版）
  • Cassandra
  • Cayenne（英語版）
  • Chemistry（英語版）
  • CloudStack（英語版）
  • Cocoon
  • Cordova
  • CouchDB
  • cTAKES（英語版）
  • CXF（英語版）
  • Derby
  • Directory（英語版）
  • Drill
  • Druid（英語版）
  • Empire-db（英語版）
  • Felix（英語版）
  • Flex
  • Flink（英語版）
  • Flume（英語版）
  • FreeMaker（英語版）
  • Geronimo
  • Giraph（英語版）
  • Gump（英語版）
  • Hadoop
  • HBase
  • Helix（英語版）
  • Hive
  • Impala（英語版）
  • Jackrabbit（英語版）
  • James
  • Jena（英語版）
  • Jini（英語版）
  • JMeter（英語版）
  • Kafka
  • Kudu（英語版）
  • Kylin（英語版）
  • Lucene
  • Mahout
  • Maven
  • MINA（英語版）
  • mod_perl（英語版）
  • MyFaces（英語版）
  • NetBeans
  • Nutch（英語版）
  • NuttX（英語版）
  • OFBiz（英語版）
  • Oozie（英語版）
  • OpenEJB
  • OpenJPA
  • OpenNLP
  • OpenOffice
  • ORC（英語版）
  • PDFBox（英語版）
  • Parquet（英語版）
  • Phoenix（英語版）
  • POI
  • Pig（英語版）
  • Pinot（英語版）
  • Pivot
  • Qpid（英語版）
  • Roller
  • RocketMQ（英語版）
  • Samza（英語版）
  • ServiceMix（英語版）
  • Shiro（英語版）
  • SINGA（英語版）
  • Sling（英語版）
  • Solr
  • Spark
  • Storm（英語版）
  • SpamAssassin
  • Struts 1
  • Struts 2（英語版）
  • Subversion
  • Apache Superset
  • SystemDS（英語版）
  • Tapestry
  • Thrift
  • Tika（英語版）
  • Tomcat
  • Traffic Server（英語版）
  • Turbine（英語版）
  • UIMA（英語版）
  • Velocity
  • Wicket
  • Xalan
  • Xerces
  • XMLBeans
  • Yetus（英語版）
  • ZooKeeper
ASF logo
Commons
Incubator
  • Apache MXNet（英語版）
  • Apache Taverna（英語版）
その他の
プロジェクト
Attic
  • Abdera（英語版）
  • Apache Apex（英語版）
  • AxKit
  • Beehive（英語版）
  • Bluesky（英語版）
  • iBATIS
  • c++ Standard Library（英語版）
  • Cactus（英語版）
  • Click（英語版）
  • Continuum（英語版）
  • Apache Deltacloud（英語版）
  • Apache Etch（英語版）
  • Excalibur（英語版）
  • Forrest（英語版）
  • Hama（英語版）
  • Harmony
  • HiveMind（英語版）
  • Jakarta
  • Lenya（英語版）
  • Marmotta（英語版）
  • ODE（英語版）
  • Shale
  • Slide（英語版）
  • Shindig
  • Stanbol（英語版）
  • Tuscany（英語版）
  • Wave（英語版）
  • Wink（英語版）
  • XML
ライセンス
  • カテゴリ Category
  • コモンズ Commons