Conditions préalables requises pour l'optimisation des tables - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Conditions préalables requises pour l'optimisation des tables

L'optimiseur de table assume les autorisations du rôle AWS Identity and Access Management (IAM) que vous spécifiez lorsque vous activez les options d'optimisation (compactage, conservation des instantanés et suppression de fichiers orphelins) pour une table. Vous pouvez créer un rôle unique pour tous les optimiseurs ou créer des rôles distincts pour chaque optimiseur.

Note

L'optimiseur de suppression de fichiers orphelins ne nécessite pas les autorisations glue:updateTable ors3:putObject. Les optimiseurs d'expiration et de compactage des instantanés nécessitent le même ensemble d'autorisations.

Le rôle IAM doit être autorisé à lire les données et à mettre à jour les métadonnées dans le catalogue de données. Vous pouvez créer un rôle IAM et y attacher les stratégies en ligne suivantes :

  • Ajoutez la politique intégrée suivante qui accorde à Amazon S3 des read/write autorisations sur l'emplacement pour les données qui ne sont pas enregistrées auprès AWS Lake Formation de celui-ci. Cette politique inclut également des autorisations pour mettre à jour le tableau dans le catalogue de données, ainsi que AWS Glue pour autoriser l'ajout de journaux dans les Amazon CloudWatch journaux et la publication de métriques. Pour les données sources dans Amazon S3 qui ne sont pas enregistrées auprès de Lake Formation, l'accès est déterminé par les stratégies d'autorisation IAM pour Amazon S3 et les actions AWS Glue .

    Dans les stratégies en ligne suivantes, remplacez le bucket-name par le nom de votre compartiment Amazon S3, aws-account-id et region par un numéro valide du compte AWS et une région du catalogue de données, database_name par le nom de votre base de données et table_name par le nom de la table.

    JSON
    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "glue:UpdateTable",
                "glue:GetTable"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:table/<database-name>/<table-name>",
                "arn:aws:glue:us-east-1:111122223333:database/<database-name>",
                "arn:aws:glue:us-east-1:111122223333:catalog"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": [
                "arn:aws:logs:us-east-1:111122223333:log-group:/aws-glue/iceberg-compaction/logs:*",
                "arn:aws:logs:us-east-1:111122223333:log-group:/aws-glue/iceberg-retention/logs:*",
                "arn:aws:logs:us-east-1:111122223333:log-group:/aws-glue/iceberg-orphan-file-deletion/logs:*"
            ]
        }
    ]
}

  • Utilisez la stratégie suivante pour activer le compactage des données enregistrées auprès de Lake Formation.

    Si le rôle d'optimisation ne dispose pas d'autorisations de IAM_ALLOWED_PRINCIPALS groupe accordées sur la table, le rôle nécessite Lake Formation ALTER INSERT et DELETE des autorisations sur la table. DESCRIBE

    Pour plus d'informations sur l'enregistrement d'un bucket Amazon S3 auprès de Lake Formation, consultez Ajouter un emplacement Amazon S3 à votre lac de données.

    JSON
    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "glue:UpdateTable",
                "glue:GetTable"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:table/databaseName/tableName",
                "arn:aws:glue:us-east-1:111122223333:database/databaseName",
                "arn:aws:glue:us-east-1:111122223333:catalog"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": [
                "arn:aws:logs:us-east-1:111122223333:log-group:/aws-glue/iceberg-compaction/logs:*",
                "arn:aws:logs:us-east-1:111122223333:log-group:/aws-glue/iceberg-retention/logs:*",
                "arn:aws:logs:us-east-1:111122223333:log-group:/aws-glue/iceberg-orphan-file-deletion/logs:*"
            ]
        }
    ]
}

  • (Facultatif) Pour optimiser les tables Iceberg avec les données des compartiments Amazon S3 chiffrées à l'aide du chiffrement côté serveur, le rôle de compactage nécessite des autorisations pour déchiffrer les objets Amazon S3 et générer une nouvelle clé de données pour écrire des objets dans les compartiments chiffrés. Ajoutez la politique suivante à la AWS KMS clé souhaitée. Nous prenons uniquement en charge le chiffrement au niveau du compartiment.

    {
    "Effect": "Allow",
    "Principal": {
        "AWS": "arn:aws:iam::<aws-account-id>:role/<optimizer-role-name>"
    },
    "Action": [
        "kms:Decrypt",
        "kms:GenerateDataKey"
    ],
    "Resource": "*"
}

  • (Facultatif) Pour l'emplacement des données enregistré auprès de Lake Formation, le rôle utilisé pour enregistrer l'emplacement nécessite des autorisations pour déchiffrer les objets Amazon S3 et générer une nouvelle clé de données pour écrire des objets dans les compartiments chiffrés. Pour plus d'informations, consultez la rubrique Enregistrement d'un emplacement Amazon S3 chiffré.

  • (Facultatif) Si la AWS KMS clé est stockée dans un autre AWS compte, vous devez inclure les autorisations suivantes pour le rôle de compactage.

    JSON
    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt",
                "kms:GenerateDataKey"
            ],
            "Resource": [
                "arn:aws:kms:us-east-1:111122223333:key/key-id"
            ]
        }
    ]
}

  • Le rôle que vous utilisez pour exécuter le compactage doit disposer de l'autorisation iam:PassRole correspondante.

    JSON
    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": [
                "arn:aws:iam::111122223333:role/<optimizer-role-name>"
            ]
        }
    ]
}

  • Ajoutez la politique de confiance suivante au rôle afin que le AWS Glue service assume le rôle IAM pour exécuter le processus de compactage.

    JSON
    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "",
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
 }

  • (Facultatif) Pour mettre à jour les paramètres du catalogue de données afin de permettre l'optimisation des tables au niveau du catalogue, le rôle IAM utilisé doit disposer de l'glue:UpdateCatalogautorisation ou AWS Lake Formation ALTER CATALOG de l'autorisation sur le catalogue racine. Vous pouvez utiliser l'GetCatalogAPI pour vérifier les propriétés du catalogue.