Création d'un profil AWS Glue d'utilisation Modification d’un profil d’utilisation Affectation d’un profil d’utilisation Affichage du profil d’utilisation qui vous a été attribué

Création et gestion de profils d’utilisation

Création d'un profil AWS Glue d'utilisation

Les administrateurs doivent créer des profils d’utilisation, puis les attribuer aux différents utilisateurs. Lors de la création d’un profil d’utilisation, vous spécifiez des valeurs par défaut, ainsi qu’une plage de valeurs autorisées pour divers paramètres de tâche et de session. Vous devez configurer au moins un paramètre pour les tâches ou les sessions interactives. Vous pouvez personnaliser la valeur par défaut à utiliser lorsqu'aucune valeur de paramètre n'est fournie pour la tâche, and/or définir une limite de plage ou un ensemble de valeurs autorisées pour validation si un utilisateur fournit une valeur de paramètre lors de l'utilisation de ce profil.

Les valeurs par défaut sont une bonne pratique définie par l’administrateur pour aider les auteurs de tâches. Lorsqu’un utilisateur crée une tâche sans définir de valeur de délai d’expiration, le délai d’expiration par défaut du profil d’utilisation s’applique. Si l'auteur n'a pas de profil, les valeurs par défaut du AWS Glue service s'appliqueront et seront enregistrées dans la définition de la tâche. Lors de l' AWS Glue exécution, applique les limites définies dans le profil (min, max, travailleurs autorisés).

Une fois qu’un paramètre est configuré, tous les autres paramètres sont facultatifs. Les paramètres qui peuvent être personnalisés pour les tâches ou les sessions interactives sont les suivants :

Nombre d’exécuteurs : limitez le nombre d’exécuteurs pour éviter une utilisation excessive des ressources de calcul. Vous pouvez définir une valeur par défaut, une valeur minimale et une valeur maximale. La valeur minimale est de 1.
Type d’exécuteur : limitez les types d’exécuteurs pertinents pour vos charges de travail. Vous pouvez définir un type par défaut et autoriser les types d’exécuteurs pour un profil utilisateur.
Délai d’expiration : définissez la durée maximale pendant laquelle une tâche ou une session interactive peut être exécutée et consommer des ressources avant d’être terminée. Définissez des valeurs de délai d’expiration pour éviter les tâches de longue durée.

Vous pouvez définir une valeur par défaut, minimale et maximale en minutes. La durée minimale est de 1 (1 minute). Bien que le délai d'expiration AWS Glue par défaut soit de 2880 minutes, vous pouvez définir n'importe quelle valeur par défaut dans le profil d'utilisation.

Il est recommandé de définir une valeur pour « par défaut ». Cette valeur sera utilisée pour la création de la tâche ou de la session si aucune valeur n’a été définie par l’utilisateur.
Délai d’inactivité : définissez le nombre de minutes pendant lesquelles une session interactive est inactive avant d’arriver à expiration après l’exécution d’une cellule. Définissez le délai d’inactivité pour que les sessions interactives se terminent une fois le travail terminé. La plage de délai d’inactivité doit être comprise dans la limite du délai d’expiration.

Vous pouvez définir une valeur par défaut, minimale et maximale en minutes. La durée minimale est de 1 (1 minute). Bien que le délai d'expiration AWS Glue par défaut soit de 2880 minutes, vous pouvez définir n'importe quelle valeur par défaut dans le profil d'utilisation.

Il est recommandé de définir une valeur pour « par défaut ». Cette valeur sera utilisée pour la création de session si aucune valeur n’a été définie par l’utilisateur.

Pour créer un profil AWS Glue d'utilisation en tant qu'administrateur (console)

Dans le menu de navigation de gauche, choisissez Gestion des coûts.
Choisissez Créer un profil d’utilisation.
Saisissez le nom du profil d’utilisation pour le profil d’utilisation.
Saisissez une description facultative qui aidera les autres utilisateurs à reconnaître l’objectif du profil d’utilisation.
Définissez au moins un paramètre dans le profil. Tout champ du formulaire est un paramètre. Par exemple, le délai d’inactivité minimal de la session.
Définissez les balises facultatives qui s’appliquent au profil d’utilisation.
Choisissez Enregistrer.

Pour créer un profil d'utilisation (AWS CLI)

Entrez la commande suivante.


aws glue create-usage-profile --name profile-name --configuration file://config.json --tags list-of-tags

où le fichier config.json peut définir des valeurs de paramètres pour les sessions interactives (SessionConfiguration) et les tâches (JobConfiguration) :


//config.json (There is a separate blob for session/job configuration
{
    "SessionConfiguration": {
        "timeout": {
            "DefaultValue": "2880",
            "MinValue": "100",
            "MaxValue": "4000"
        },
        "idleTimeout": {
            "DefaultValue": "30",
            "MinValue": "10",
            "MaxValue": "4000"
        },
        "workerType": {
            "DefaultValue": "G.2X",
            "AllowedValues": [
                "G.1X",
                "G.2X",
                "G.4X",
                "G.8X",
                "G.12X",
                "G.16X",
                "R.1X",
                "R.2X",
                "R.4X",
                "R.8X"
            ]
        },
        "numberOfWorkers": {
            "DefaultValue": "10",
            "MinValue": "1",
            "MaxValue": "10"
        }
    },
    "JobConfiguration": {
        "timeout": {
            "DefaultValue": "2880",
            "MinValue": "100",
            "MaxValue": "4000"
        },
        "workerType": {
            "DefaultValue": "G.2X",
            "AllowedValues": [
                "G.1X",
                "G.2X",
                "G.4X",
                "G.8X",
                "G.12X",
                "G.16X",
                "R.1X",
                "R.2X",
                "R.4X",
                "R.8X"
            ]
        },
        "numberOfWorkers": {
            "DefaultValue": "10",
            "MinValue": "1",
            "MaxValue": "10"
        }
    }
}

Saisissez la commande suivante pour afficher le profil d’utilisation créé :


aws glue get-usage-profile --name profile-name

La réponse :


{
    "ProfileName": "foo",
    "Configuration": {
        "SessionConfiguration": {
            "numberOfWorkers": {
                "DefaultValue": "10",
                "MinValue": "1",
                "MaxValue": "10"
            },
            "workerType": {
                "DefaultValue": "G.2X",
                "AllowedValues": [
                    "G.1X",
                    "G.2X",
                    "G.4X",
                    "G.8X",
                    "G.12X",
                    "G.16X",
                    "R.1X",
                    "R.2X",
                    "R.4X",
                    "R.8X"
                ]
            },
            "timeout": {
                "DefaultValue": "2880",
                "MinValue": "100",
                "MaxValue": "4000"
            },
            "idleTimeout": {
                "DefaultValue": "30",
                "MinValue": "10",
                "MaxValue": "4000"
            }
        },
        "JobConfiguration": {
            "numberOfWorkers": {
                "DefaultValue": "10",
                "MinValue": "1",
                "MaxValue": "10"
            },
            "workerType": {
                "DefaultValue": "G.2X",
                "AllowedValues": [
                    "G.1X",
                    "G.2X",
                    "G.4X",
                    "G.8X",
                    "G.12X",
                    "G.16X",
                    "R.1X",
                    "R.2X",
                    "R.4X",
                    "R.8X"
                ]
            },
            "timeout": {
                "DefaultValue": "2880",
                "MinValue": "100",
                "MaxValue": "4000"
            }
        }
    },
    "CreatedOn": "2024-01-19T23:15:24.542000+00:00"
}

Commandes CLI supplémentaires utilisées pour gérer les profils d’utilisation :

colle à cire list-usage-profiles
aws glue update-usage-profile --name --configuration profile-name file://config.json
aws glue delete-usage-profile --name profile-name

Modification d’un profil d’utilisation

Les administrateurs peuvent modifier les profils d’utilisation qu’ils ont créés afin de modifier les valeurs des paramètres de profil pour les tâches et les sessions interactives.

Pour modifier un profil d’utilisation

Pour modifier un profil AWS Glue d'utilisation en tant qu'administrateur (console)

Dans le menu de navigation de gauche, choisissez Gestion des coûts.
Choisissez un profil d’utilisation que vous êtes autorisé à modifier, puis cliquez sur Modifier.
Apportez les modifications nécessaires au profil. Par défaut, les paramètres qui comportent déjà des valeurs sont développés.
Sélectionnez Enregistrer les modifications.

Pour modifier un profil d'utilisation (AWS CLI)

Entrez la commande suivante. La même syntaxe de fichier --configuration est utilisée comme indiqué ci-dessus dans la commande de création.
```
aws glue update-usage-profile --name profile-name --configuration file://config.json
```
où le fichier config.json définit des valeurs de paramètres pour les sessions interactives (SessionConfiguration) et les tâches (JobConfiguration) :

Affectation d’un profil d’utilisation

La colonne État d’utilisation de la page Profils d’utilisation indique si un profil d’utilisation est attribué aux utilisateurs. Le survol de l’état indique les entités IAM assignées.

L'administrateur peut attribuer un profil AWS Glue d'utilisation aux users/roles personnes qui créent AWS Glue les ressources. L’attribution d’un profil est une combinaison de deux actions :

Mettre à jour le user/role tag IAM avec la glue:UsageProfile clé, puis
Mise à jour de la politique IAM de l’utilisateur/du rôle.

Pour les utilisateurs qui utilisent AWS Glue Studio pour créer jobs/interactive des sessions, l'administrateur attribue les rôles suivants :

Pour les restrictions sur les tâches, l’administrateur balise le rôle de console connecté.
Pour les restrictions sur les sessions interactives, l’administrateur balise le rôle fourni par l’utilisateur lors de la création du bloc-notes.

Voici un exemple de politique que l'administrateur doit mettre à jour sur l'IAM users/roles qui crée des AWS Glue ressources :


{
    "Effect": "Allow",
    "Action": [
        "glue:GetUsageProfile"
    ],
    "Resource": [
        "arn:aws:glue:us-east-1:123456789012:usageProfile/foo"
    ]
}

AWS Glue valide les demandes de travail, d'exécution de tâches et de session en fonction des valeurs spécifiées dans le profil AWS Glue d'utilisation et déclenche une exception si la demande est refusée. Pour le mode synchrone APIs, une erreur sera renvoyée à l'utilisateur. Pour les chemins asynchrones, une exécution de tâche échouée est créée avec le message d’erreur indiquant que le paramètre d’entrée se situe en dehors de la plage autorisée pour le profil attribué à l’utilisateur/au rôle.

Pour attribuer un profil d’utilisation à un utilisateur/rôle :

Connectez-vous à la console IAM (Gestion des identités et des accès).
Dans le panneau de navigation de gauche, sélectionnez Utilisateurs ou Rôles.
Choisissez un utilisateur ou un rôle.
Sélectionnez l’onglet Tags (Identifications).
Sélectionnez Ajouter une nouvelle balise.
Ajoutez une balise avec la clé glue:UsageProfile et la valeur du nom de votre profil d’utilisation.
Choisissez Enregistrer les modifications

Affichage du profil d’utilisation qui vous a été attribué

Les utilisateurs peuvent consulter les profils d'utilisation qui leur sont assignés et les utiliser lorsqu'ils effectuent des appels d'API pour créer des ressources de AWS Glue tâche et de session, ou lorsqu'ils démarrent une tâche.

Les autorisations de profil sont fournies dans les politiques IAM. Tant que la politique de l’appelant dispose de l’autorisation glue:UsageProfile, un utilisateur peut voir le profil. Sinon, vous recevrez un message d’erreur « accès refusé ».

Pour consulter un profil d’utilisation attribué :

Dans le menu de navigation de gauche, choisissez Gestion des coûts.
Choisissez un profil d’utilisation que vous êtes autorisé à consulter.

Exemple d’utilisateur consultant le profil d’utilisation qui lui a été attribué dans AWS Glue.

Avertissement JavaScript est désactivé ou n'est pas disponible dans votre navigateur.

Pour que vous puissiez utiliser la documentation AWS, Javascript doit être activé. Vous trouverez des instructions sur les pages d'aide de votre navigateur.

Conventions de rédaction

Configuration des profils d’utilisation

Profils d’utilisation et tâches