AWSPremiumSupport-CollectAWSGlueMetadata

Description

Das AWSPremiumSupport-CollectAWSGlueMetadata Runbook sammelt Konfigurationsmetadaten für Ihre AWS Glue Ressourcen, einschließlich Datenbanken, Crawler, ETL-Jobs, Entwicklungsendpunkte, Trigger, Workflows und Sicherheitskonfigurationen. Das Runbook schreibt diese Metadaten in einen JSON-Bericht im Amazon S3-Bucket, den Sie auswählen. Ihr Technical Account Manager (TAM) oder Specialist Technical Account Manager (STAM) überprüft den Bericht im Rahmen der AWS Glue Operational Review. Bei dieser Überprüfung handelt es sich um eine proaktive Bewertung Ihrer AWS Glue Umgebung anhand AWS bewährter Verfahren.

Funktionsweise

Eine Python-Anwendung sammelt die AWS Glue Metadaten. Die Anwendung wird auf einer temporären Amazon EC2-Instance ausgeführt. Das Runbook erstellt diese temporäre Instance in einer neuen isolierten Amazon VPC mithilfe einer eingebetteten Vorlage. AWS CloudFormation Die Amazon EC2-Instance wird in einem privaten Subnetz mit Internetzugang über ein Network Address Translation (NAT) -Gateway ausgeführt. Das Runbook greift über Amazon VPC-Endpunkte in derselben Region auf AWS Dienste wie AWS Glue Amazon EC2 Systems Manager und Amazon S3 zu. Das NAT-Gateway ruft Metadaten aus Amazon S3-Buckets ab, die Ihren Ressourcen in anderen Regionen zugeordnet sind. AWS Glue AWS

Wenn das Runbook fertig ist, löscht es den CloudFormation Stack und lädt den Bericht in den Amazon S3-Bucket Ihrer Wahl hoch. Das Runbook hängt den Bericht dann an den AWS Support-Fall für diese Betriebsüberprüfung an. Die JSON-Datei befindet sich im Stammordner Ihres Amazon S3-Buckets. Wenden Sie sich an Ihren TAM oder STAM, wenn Sie Fragen zur Operational Review und den gesammelten Metadaten haben.

Führen Sie diese Automatisierung aus (Konsole)

Art des Dokuments

Automatisierung

Eigentümer

Amazon

Plattformen

/

Parameter des Dokuments

Erforderliche IAM-Berechtigungen zum Erfassen der AWS Glue Metadaten

Die AWS Glue Datensammler-Anwendung erfordert die folgenden Aktionen, um dieses Runbook erfolgreich auszuführen und die Datei in den privaten Amazon S3-Bucket Ihrer Wahl hochzuladen. Eine IAM-Rolle gewährt der temporären Amazon EC2-Instance automatisch diese Berechtigungen.

Für die Ausführung dieses Runbooks sind IAM-Berechtigungen erforderlich

Um dieses Runbook auszuführen, benötigt der AutomationAssumeRole oder Ihr IAM-Benutzer die folgenden Aktionen. Diese Berechtigungen sind erforderlich, um eine neue temporäre Amazon VPC zu erstellen und die Amazon EC2-Instance zu verwenden. CloudFormation

Die folgende Beispielrichtlinie zeigt die Berechtigungen mit den geringsten Rechten, die für die erforderlich sind. AutomationAssumeRole Ersetzen Sie REGIONACCOUNTID, und durch Ihre S3_BUCKET_NAME eigenen Werte:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "CloudFormationStackAccess",
            "Effect": "Allow",
            "Action": [
                "cloudformation:CreateStack",
                "cloudformation:DeleteStack",
                "cloudformation:DescribeStackEvents",
                "cloudformation:DescribeStacks",
                "cloudformation:UpdateStack"
            ],
            "Resource": "arn:aws:cloudformation:REGION:ACCOUNTID:stack/AWSPremiumSupport-CollectAWSGlueMetadata-*/*"
        },
        {
            "Sid": "EC2NetworkingAccess",
            "Effect": "Allow",
            "Action": [
                "ec2:AllocateAddress",
                "ec2:AssociateRouteTable",
                "ec2:AttachInternetGateway",
                "ec2:AuthorizeSecurityGroupEgress",
                "ec2:AuthorizeSecurityGroupIngress",
                "ec2:CreateInternetGateway",
                "ec2:CreateNatGateway",
                "ec2:CreateRoute",
                "ec2:CreateRouteTable",
                "ec2:CreateSecurityGroup",
                "ec2:CreateSubnet",
                "ec2:CreateTags",
                "ec2:CreateVpc",
                "ec2:CreateVpcEndpoint",
                "ec2:DeleteInternetGateway",
                "ec2:DeleteNatGateway",
                "ec2:DeleteRoute",
                "ec2:DeleteRouteTable",
                "ec2:DeleteSecurityGroup",
                "ec2:DeleteSubnet",
                "ec2:DeleteTags",
                "ec2:DeleteVpc",
                "ec2:DeleteVpcEndpoints",
                "ec2:DescribeAddresses",
                "ec2:DescribeImages",
                "ec2:DescribeInstances",
                "ec2:DescribeInstanceStatus",
                "ec2:DescribeInternetGateways",
                "ec2:DescribeNatGateways",
                "ec2:DescribeRouteTables",
                "ec2:DescribeSecurityGroups",
                "ec2:DescribeSubnets",
                "ec2:DescribeVpcEndpoints",
                "ec2:DescribeVpcs",
                "ec2:DetachInternetGateway",
                "ec2:DisassociateRouteTable",
                "ec2:ModifySubnetAttribute",
                "ec2:ModifyVpcAttribute",
                "ec2:RebootInstances",
                "ec2:ReleaseAddress",
                "ec2:RevokeSecurityGroupEgress",
                "ec2:RunInstances",
                "ec2:TerminateInstances"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aws:RequestedRegion": "REGION"
                }
            }
        },
        {
            "Sid": "IAMRoleAccess",
            "Effect": "Allow",
            "Action": [
                "iam:AddRoleToInstanceProfile",
                "iam:AttachRolePolicy",
                "iam:CreateInstanceProfile",
                "iam:CreateRole",
                "iam:DeleteInstanceProfile",
                "iam:DeleteRole",
                "iam:DeleteRolePolicy",
                "iam:DetachRolePolicy",
                "iam:GetInstanceProfile",
                "iam:GetRole",
                "iam:GetRolePolicy",
                "iam:PutRolePolicy",
                "iam:RemoveRoleFromInstanceProfile"
            ],
            "Resource": [
                "arn:aws:iam::ACCOUNTID:role/AWSPremiumSupport-CollectAWSGlueMetadata-*",
                "arn:aws:iam::ACCOUNTID:instance-profile/AWSPremiumSupport-CollectAWSGlueMetadata-*"
            ]
        },
        {
            "Sid": "PassRoleToEC2",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::ACCOUNTID:role/AWSPremiumSupport-CollectAWSGlueMetadata-*",
            "Condition": {
                "StringEquals": {
                    "iam:PassedToService": "ec2.amazonaws.com"
                }
            }
        },
        {
            "Sid": "S3BucketAccess",
            "Effect": "Allow",
            "Action": [
                "s3:GetAccountPublicAccessBlock",
                "s3:GetBucketAcl",
                "s3:GetBucketPolicyStatus",
                "s3:GetBucketPublicAccessBlock",
                "s3:ListBucket"
            ],
            "Resource": "arn:aws:s3:::S3_BUCKET_NAME"
        },
        {
            "Sid": "SSMAutomationAccess",
            "Effect": "Allow",
            "Action": [
                "ssm:DescribeAutomationExecutions",
                "ssm:DescribeInstanceInformation",
                "ssm:GetDocument",
                "ssm:GetParameters",
                "ssm:ListCommandInvocations",
                "ssm:ListCommands",
                "ssm:SendCommand"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aws:RequestedRegion": "REGION"
                }
            }
        },
        {
            "Sid": "SupportCaseAccess",
            "Effect": "Allow",
            "Action": [
                "support:AddAttachmentsToSet",
                "support:AddCommunicationToCase",
                "support:DescribeCases"
            ],
            "Resource": "*"
        }
    ]
}
        

Schritte dokumentieren