AWSPremiumSupport-CollectAWSGlueMetadata

Description

O AWSPremiumSupport-CollectAWSGlueMetadata runbook reúne metadados de configuração para seus AWS Glue recursos, incluindo bancos de dados, rastreadores, tarefas de ETL, endpoints de desenvolvimento, gatilhos, fluxos de trabalho e configurações de segurança. O runbook grava esses metadados em um relatório JSON no bucket do Amazon S3 que você escolher. Seu gerente técnico de contas (TAM) ou gerente técnico especializado de contas (STAM) analisa o relatório como parte da revisão AWS Glue operacional. Esta análise é uma avaliação proativa do seu AWS Glue ambiente em relação às AWS melhores práticas.

Como funciona

Um aplicativo Python coleta os metadados AWS Glue . O aplicativo é executado em uma instância temporária do Amazon EC2. O runbook cria essa instância temporária em uma nova Amazon VPC isolada usando um modelo incorporado AWS CloudFormation . A instância do Amazon EC2 é executada em uma sub-rede privada com acesso à Internet por meio de um gateway de tradução de endereços de rede (NAT). O runbook acessa AWS serviços AWS Glue, incluindo o Amazon EC2 Systems Manager e o Amazon S3, por meio de endpoints do Amazon VPC na mesma região. O gateway NAT recupera metadados dos buckets do Amazon S3 que estão associados aos seus AWS Glue recursos em outras regiões. AWS

Quando o runbook termina, ele exclui a CloudFormation pilha e faz o upload do relatório para o bucket do Amazon S3 de sua escolha. Em seguida, o runbook anexa o relatório ao caso de AWS suporte para esta revisão operacional. O arquivo JSON está na pasta raiz do seu bucket do Amazon S3. Entre em contato com seu TAM ou STAM se tiver dúvidas sobre a revisão operacional e os metadados coletados.

Executar esta automação (console)

Tipo de documento

Automação

Proprietário

Amazon

Plataformas

/

Parâmetros do documento

Permissões de IAM necessárias para coletar o AWS Glue metadata

O aplicativo coletor de AWS Glue dados exige as seguintes ações para executar com êxito esse runbook e fazer o upload do arquivo para o bucket privado do Amazon S3 de sua escolha. Uma função do IAM concede automaticamente essas permissões à instância temporária do Amazon EC2.

Permissões de IAM necessárias para executar este runbook

Para executar esse runbook, o AutomationAssumeRole ou seu usuário do IAM precisa das seguintes ações. Essas permissões são necessárias para criar uma nova Amazon VPC temporária e a instância do Amazon EC2 usando. CloudFormation

O exemplo de política a seguir mostra as permissões de menor privilégio necessárias para o. AutomationAssumeRole Substitua REGIONACCOUNTID,, e S3_BUCKET_NAME por seus próprios valores:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "CloudFormationStackAccess",
            "Effect": "Allow",
            "Action": [
                "cloudformation:CreateStack",
                "cloudformation:DeleteStack",
                "cloudformation:DescribeStackEvents",
                "cloudformation:DescribeStacks",
                "cloudformation:UpdateStack"
            ],
            "Resource": "arn:aws:cloudformation:REGION:ACCOUNTID:stack/AWSPremiumSupport-CollectAWSGlueMetadata-*/*"
        },
        {
            "Sid": "EC2NetworkingAccess",
            "Effect": "Allow",
            "Action": [
                "ec2:AllocateAddress",
                "ec2:AssociateRouteTable",
                "ec2:AttachInternetGateway",
                "ec2:AuthorizeSecurityGroupEgress",
                "ec2:AuthorizeSecurityGroupIngress",
                "ec2:CreateInternetGateway",
                "ec2:CreateNatGateway",
                "ec2:CreateRoute",
                "ec2:CreateRouteTable",
                "ec2:CreateSecurityGroup",
                "ec2:CreateSubnet",
                "ec2:CreateTags",
                "ec2:CreateVpc",
                "ec2:CreateVpcEndpoint",
                "ec2:DeleteInternetGateway",
                "ec2:DeleteNatGateway",
                "ec2:DeleteRoute",
                "ec2:DeleteRouteTable",
                "ec2:DeleteSecurityGroup",
                "ec2:DeleteSubnet",
                "ec2:DeleteTags",
                "ec2:DeleteVpc",
                "ec2:DeleteVpcEndpoints",
                "ec2:DescribeAddresses",
                "ec2:DescribeImages",
                "ec2:DescribeInstances",
                "ec2:DescribeInstanceStatus",
                "ec2:DescribeInternetGateways",
                "ec2:DescribeNatGateways",
                "ec2:DescribeRouteTables",
                "ec2:DescribeSecurityGroups",
                "ec2:DescribeSubnets",
                "ec2:DescribeVpcEndpoints",
                "ec2:DescribeVpcs",
                "ec2:DetachInternetGateway",
                "ec2:DisassociateRouteTable",
                "ec2:ModifySubnetAttribute",
                "ec2:ModifyVpcAttribute",
                "ec2:RebootInstances",
                "ec2:ReleaseAddress",
                "ec2:RevokeSecurityGroupEgress",
                "ec2:RunInstances",
                "ec2:TerminateInstances"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aws:RequestedRegion": "REGION"
                }
            }
        },
        {
            "Sid": "IAMRoleAccess",
            "Effect": "Allow",
            "Action": [
                "iam:AddRoleToInstanceProfile",
                "iam:AttachRolePolicy",
                "iam:CreateInstanceProfile",
                "iam:CreateRole",
                "iam:DeleteInstanceProfile",
                "iam:DeleteRole",
                "iam:DeleteRolePolicy",
                "iam:DetachRolePolicy",
                "iam:GetInstanceProfile",
                "iam:GetRole",
                "iam:GetRolePolicy",
                "iam:PutRolePolicy",
                "iam:RemoveRoleFromInstanceProfile"
            ],
            "Resource": [
                "arn:aws:iam::ACCOUNTID:role/AWSPremiumSupport-CollectAWSGlueMetadata-*",
                "arn:aws:iam::ACCOUNTID:instance-profile/AWSPremiumSupport-CollectAWSGlueMetadata-*"
            ]
        },
        {
            "Sid": "PassRoleToEC2",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::ACCOUNTID:role/AWSPremiumSupport-CollectAWSGlueMetadata-*",
            "Condition": {
                "StringEquals": {
                    "iam:PassedToService": "ec2.amazonaws.com"
                }
            }
        },
        {
            "Sid": "S3BucketAccess",
            "Effect": "Allow",
            "Action": [
                "s3:GetAccountPublicAccessBlock",
                "s3:GetBucketAcl",
                "s3:GetBucketPolicyStatus",
                "s3:GetBucketPublicAccessBlock",
                "s3:ListBucket"
            ],
            "Resource": "arn:aws:s3:::S3_BUCKET_NAME"
        },
        {
            "Sid": "SSMAutomationAccess",
            "Effect": "Allow",
            "Action": [
                "ssm:DescribeAutomationExecutions",
                "ssm:DescribeInstanceInformation",
                "ssm:GetDocument",
                "ssm:GetParameters",
                "ssm:ListCommandInvocations",
                "ssm:ListCommands",
                "ssm:SendCommand"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aws:RequestedRegion": "REGION"
                }
            }
        },
        {
            "Sid": "SupportCaseAccess",
            "Effect": "Allow",
            "Action": [
                "support:AddAttachmentsToSet",
                "support:AddCommunicationToCase",
                "support:DescribeCases"
            ],
            "Resource": "*"
        }
    ]
}
        

Etapas do documento