Création d'un environnement Amazon MWAA

Pour spécifier les détails de l'environnement

1. Ouvrez la console Amazon MWAA.

2. Utilisez le sélecteur de AWS région pour sélectionner votre région.

3. Choisissez Create environment.

4. Sur la page Spécifier les détails, sous Détails de l'environnement :

   1. Tapez un nom unique pour votre environnement dans Nom.

   2. Choisissez la version Apache Airflow dans la version Airflow.

      Note

      Si aucune valeur n'est spécifiée, la dernière version d'Apache Airflow est utilisée par défaut. La dernière version disponible est Apache Airflow v2.10.3.

5. Sous le code DAG dans Amazon S3, spécifiez les éléments suivants :

   1. Seau S3. Choisissez Browse S3 et sélectionnez votre compartiment Amazon S3, ou entrez l'URI Amazon S3.

   2. DAGs folder. Choisissez Browse S3 et sélectionnez le dags dossier dans votre compartiment Amazon S3, ou entrez l'URI Amazon S3.

   3. Fichier de plugins : facultatif. Choisissez Browse S3 et sélectionnez le plugins.zip fichier dans votre compartiment Amazon S3, ou entrez l'URI Amazon S3.

   4. Fichier des exigences : facultatif. Choisissez Browse S3 et sélectionnez le requirements.txt fichier dans votre compartiment Amazon S3, ou entrez l'URI Amazon S3.

   5. Fichier de script de démarrage (facultatif), choisissez Parcourir S3et sélectionnez le fichier de script dans votre compartiment Amazon S3 ou entrez l'URI Amazon S3.

6. Choisissez Suivant.

Pour configurer les paramètres avancés

1. Sur la page Configurer les paramètres avancés, sous Mise en réseau :

   1. Choisissez votre Amazon VPC.

      Cette étape permet de remplir deux des sous-réseaux privés de votre Amazon VPC.

2. Sous Accès au serveur Web, sélectionnez votre mode d'accès Apache Airflow préféré :

   1. Réseau privé. Cela limite l'accès à l'interface utilisateur d'Apache Airflow aux utilisateurs de votre Amazon VPC qui ont obtenu l'accès à la politique IAM de votre environnement. Pour cette étape, vous devez disposer d'une autorisation pour créer des points de terminaison Amazon VPC.

      Note

      Choisissez l'option Réseau privé si votre interface utilisateur Apache Airflow est uniquement accessible au sein d'un réseau d'entreprise et si vous n'avez pas besoin d'accéder aux référentiels publics pour l'installation des exigences du serveur Web. Si vous choisissez cette option de mode d'accès, vous devez créer un mécanisme pour accéder à votre serveur Web Apache Airflow dans votre Amazon VPC. Pour de plus amples informations, veuillez consulter Accès au point de terminaison VPC de votre serveur Web Apache Airflow (accès réseau privé).

   2. Réseau public. Cela permet aux utilisateurs autorisés à accéder à l'interface utilisateur d'Apache Airflow via Internet à la politique IAM de votre environnement.

3. Sous Groupe (s) de sécurité, choisissez le groupe de sécurité utilisé pour sécuriser votre Amazon VPC :

   1. Par défaut, Amazon MWAA crée un groupe de sécurité dans votre Amazon VPC avec des règles d'entrée et de sortie spécifiques dans Créer un nouveau groupe de sécurité.

   2. Facultatif. Décochez la case dans Créer un nouveau groupe de sécurité pour sélectionner jusqu'à 5 groupes de sécurité.

      Note

      Un groupe de sécurité Amazon VPC existant doit être configuré avec des règles entrantes et sortantes spécifiques pour autoriser le trafic réseau. Pour en savoir plus, veuillez consulter la section Sécurité de votre VPC sur Amazon MWAA.

4. Sous Classe d'environnement, choisissez une classe d'environnement.

   Nous vous recommandons de choisir la plus petite taille nécessaire pour supporter votre charge de travail. Vous pouvez modifier la classe d'environnement à tout moment.

5. Pour Nombre maximal de travailleurs, spécifiez le nombre maximal de travailleurs Apache Airflow à exécuter dans l'environnement.

   Pour de plus amples informations, veuillez consulter Exemple de cas d'utilisation à hautes performances.

6. Spécifiez le nombre maximal de serveurs Web et le nombre minimal de serveurs Web pour configurer la manière dont Amazon MWAA adapte les serveurs Web Apache Airflow dans votre environnement.

   Pour plus d'informations sur le dimensionnement automatique du serveur Web, consultezConfiguration du dimensionnement automatique du serveur Web Amazon MWAA.

7. Sous Chiffrement, choisissez une option de chiffrement des données :

   1. Par défaut, Amazon MWAA utilise une AWS clé propre pour chiffrer vos données.

   2. Facultatif. Choisissez Personnaliser les paramètres de chiffrement (avancés) pour choisir une autre AWS KMS clé. Si vous choisissez de spécifier une clé gérée par le client à cette étape, vous devez spécifier un ID de AWS KMS clé ou un ARN. AWS KMS les alias et les clés multirégionales ne sont pas pris en charge par Amazon MWAA. Si vous avez spécifié une clé Amazon S3 pour le chiffrement côté serveur sur votre compartiment Amazon S3, vous devez spécifier la même clé pour votre environnement Amazon MWAA.

      Note

      Vous devez être autorisé à accéder à la clé pour la sélectionner sur la console Amazon MWAA. Vous devez également autoriser Amazon MWAA à utiliser la clé en joignant la politique décrite dansJoindre une politique clé.

8. Recommandé Sous Surveillance, choisissez une ou plusieurs catégories de journaux pour la configuration de journalisation Airflow afin d'envoyer les journaux Apache Airflow à CloudWatch Logs :

   1. Journaux des tâches Airflow. Choisissez le type de journaux de tâches Apache Airflow à envoyer au niveau CloudWatch Logs in Log.

   2. Journaux du serveur Web Airflow. Choisissez le type de journaux du serveur Web Apache Airflow à envoyer au niveau CloudWatch Logs in Log.

   3. Journaux du planificateur de débit d'air. Choisissez le type de journaux du planificateur Apache Airflow à envoyer au niveau CloudWatch Logs in Log.

   4. Journaux des travailleurs de Airflow. Choisissez le type de journaux de travail Apache Airflow à envoyer au niveau CloudWatch Logs in Log.

   5. Journaux de traitement Airflow DAG. Choisissez le type de journaux de traitement du DAG Apache Airflow à envoyer au niveau CloudWatch Logs in Log.

9. Facultatif. Pour les options de configuration Airflow, choisissez l'option Ajouter une configuration personnalisée.

   Vous pouvez choisir parmi la liste déroulante suggérée des options de configuration d'Apache Airflow pour votre version d'Apache Airflow ou spécifier des options de configuration personnalisées. Par exemple, core.default_task_retries :3.

10. Facultatif. Sous Balises, choisissez Ajouter une nouvelle balise pour associer des balises à votre environnement. Par exemple, Environment :Staging.

11. Sous Autorisations, choisissez un rôle d'exécution :

    1. Par défaut, Amazon MWAA crée un rôle d'exécution dans Create a new role. Vous devez être autorisé à créer des rôles IAM pour utiliser cette option.

    2. Facultatif. Choisissez Enter role ARN pour saisir le Amazon Resource Name (ARN) d'un rôle d'exécution existant.

12. Choisissez Suivant.

Pour consulter un résumé de l'environnement

• Consultez le résumé de l'environnement, puis choisissez Créer un environnement.

  Note

  Il faut environ vingt à trente minutes pour créer un environnement.