Amazon Managed Workflows for Apache Airflow とは何ですか？ - Amazon Managed Workflows for Apache Airflow
特徴アーキテクチャIntegrationサポートバージョン次のステップ

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Managed Workflows for Apache Airflow とは何ですか？

Apache Airflow のマネージドサービスである Amazon Managed Workflows for Apache Airflow を使用して、クラウドでデータパイプラインを大規模にセットアップして実行します。Apache Airflow は、ワークフローの作成、スケジュール、モニタリングに使用されるオープンソースツールです。

Amazon MWAA を使用すると、Apache Airflow と Python を使用して、スケーラビリティ、可用性、セキュリティのためのインフラストラクチャを管理することなくワークフローを作成できます。Amazon MWAA は、ワークフローのニーズに合わせて自動的にスケーリングします。これは AWS セキュリティサービスと統合され、データへの高速で安全なアクセスを提供します。

特徴

Amazon MWAA が Apache Airflow ワークフローの管理を簡素化する方法については、以下の機能を参照してください。

  • 自動エアフロー設定 – Amazon MWAA 環境を作成するときに Apache Airflow バージョンを選択して、Apache Airflow をすばやくセットアップします。Amazon MWAA は、インターネットで利用可能な同じ Apache Airflow ユーザーインターフェイスとオープンソースコードを使用して Apache Airflow をセットアップします。

  • 自動スケーリング – 最小制限と最大制限を設定して、Apache Airflow ワーカー (タスクを実行するコンピューティングリソース) を自動的にスケーリングします。Amazon MWAA は環境内のワーカーを監視し、自動スケーリングコンポーネントを使用して、定義した最大数まで需要を満たすワーカーを追加します。

  • 組み込み認証 – AWS Identity and Access Management (IAM) でアクセスコントロールポリシーを定義することで、Apache Airflow ウェブサーバーのロールベースの認証と認可を有効にします。Apache Airflow ワーカーは AWS 、サービスへの安全なアクセスのためにこれらのポリシーを引き受けます。

  • 組み込みセキュリティ – Apache Airflow ワーカーとスケジューラは Amazon MWAA の Amazon VPC で実行されます。データは を使用して自動的に暗号化されるため AWS Key Management Service、環境はデフォルトで保護されます。

  • パブリックまたはプライベートアクセスモード – プライベートまたはパブリックアクセスモードを使用して Apache Airflow ウェブサーバーにアクセスします。パブリックネットワークアクセスモードでは、インターネット経由でアクセスできる Apache Airflow ウェブサーバーに VPC エンドポイントを使用します。プライベートネットワークアクセスモードでは、VPC でアクセスできる Apache Airflow ウェブサーバーに VPC エンドポイントを使用します。どちらの場合も、Apache Airflow ユーザーのアクセスは、 AWS Identity and Access Management (IAM) および AWS SSO で定義したアクセスコントロールポリシーによって制御されます。

  • アップグレードとパッチの効率化 — Amazon MWAA は Apache Airflow の新しいバージョンを定期的に提供しています。Amazon MWAA チームはこれらのバージョンに合わせてイメージを更新し、パッチを適用します。

  • ワークフローモニタリング – Amazon CloudWatch の Apache Airflow ログと Apache Airflow メトリクスにアクセスして、追加のサードパーティーツールを必要とせずに Apache Airflow タスクの遅延やワークフローエラーを特定します。Amazon MWAA は、環境メトリクスを自動的にCloudWatch に送信します。有効になっている場合は、Apache Airflow ログも送信します。

  • AWS 統合 – Amazon MWAA は、Amazon Athena AWS Batch、、Amazon CloudWatch、Amazon DynamoDB AWS DataSync、Amazon EMR、 AWS Fargate Amazon EKS、Amazon Data Firehose AWS Glue、 AWS Lambda、Amazon Redshift、Amazon SQS、Amazon SNS、Amazon SageMaker AI、Amazon S3 とのオープンソース統合、および数百の組み込みおよびコミュニティ作成のオペレータとセンサーをサポートしています。

  • ワーカーフリート — Amazon MWAA は、コンテナを使用してワーカーフリートをオンデマンドでスケーリングし、AWS Fargateの Amazon ECS を使用してスケジューラーの停止を減らすことをサポートしています。Amazon ECS コンテナでタスクを呼び出すオペレーターと、Kubernetes クラスターでポッドを作成して実行する Kubernetes オペレーターがサポートされています。

アーキテクチャ

外部ボックスに含まれるすべてのコンポーネント (次の図を参照) は、アカウント内の単一の Amazon MWAA 環境として表示されます。Apache Airflow スケジューラとワーカーは、環境の Amazon VPC 内のプライベートサブネットに接続する AWS Fargate コンテナです。各環境には、 によって管理 AWS される独自の Apache Airflow メタデータベースがあり、プライベートに保護された VPC エンドポイントを介してスケジューラとワーカー Fargate コンテナにアクセスできます。

Amazon CloudWatch、Amazon S3、Amazon SQS、および AWS KMS は Amazon MWAA とは別であり、Fargate コンテナ内の Apache Airflow スケジューラとワーカーからアクセス可能である必要があります。複数の Apache Airflow スケジューラは、Apache Airflow v2 以降でのみ使用できます。Apache Airflow タスクライフサイクルの詳細については、Apache Airflow リファレンスガイドの 「概念」 を参照してください。

Apache Airflow ウェブサーバーには、パブリックネットワーク Apache Airflow アクセスモードを選択してインターネット経由で、またはプライベートネットワーク Apache Airflow アクセスモードを選択して VPC 内でアクセスできます。どちらの場合も、Apache Airflow ユーザーのアクセスは、 AWS Identity and Access Management (IAM) で定義したアクセスコントロールポリシーによって制御されます。

注記

Apache Airflow v3 以降、Amazon MWAA ウェブサーバーは Apache Airflow の実行 API サーバーもホストします。

Amazon MWAA 環境のアーキテクチャ。

Integration

アクティブで成長中の Apache Airflow オープンソースコミュニティは、Apache Airflow が サービスと統合するためのオペレーター ( AWS サービスへの接続を簡素化するプラグイン) を提供します。これには、Amazon S3、Amazon Redshift、Amazon EMR AWS Batch、Amazon SageMaker AI などのサービスや、他のクラウドプラットフォーム上のサービスが含まれます。

Amazon MWAA で Apache Airflow を使用すると、データ処理タスクを実行するために、Apache Hadoop、Presto、Hive、Spark などの AWS サービスや一般的なサードパーティーツールとの統合が完全にサポートされます。Amazon MWAA は Apache Airflow API との互換性を維持することにコミットしており、Amazon MWAA は AWS サービスへの信頼性の高い統合を提供し、コミュニティで利用可能にし、コミュニティ機能開発に関与することを意図しています。

サンプルコードについては、「」を参照してくださいAmazon Managed Workflows for Apache Airflow。

サポートバージョン

Amazon MWAA は複数のバージョンの Apache Airflow をサポートしています。サポートされている Apache Airflow バージョンと各バージョンに含まれる Apache Airflow コンポーネントの詳細については、「」を参照してくださいAmazon Managed Workflows for Apache Airflow 上の Apache Airflow のバージョン。

次のステップ