Requisitos previos para conectar el Catálogo de datos a orígenes de datos externos

Para conectarse AWS Glue Data Catalog a fuentes de datos externas, registrar la conexión en Lake Formation y configurar los catálogos federados, debe cumplir los siguientes requisitos:

1. Crear roles de IAM.

   • Cree un rol que tenga los permisos necesarios para implementar los recursos (la función Lambda, el depósito de residuos de Amazon S3, el rol de IAM y la AWS Glue conexión) necesarios para crear una conexión a la fuente de datos externa.

   • Cree un rol que tenga los permisos mínimos necesarios para acceder a las propiedades de la AWS Glue conexión (la función Lambda y el spill bucket de Amazon S3). Este es el rol que incluirá cuando registre la conexión con Lake Formation.

     Para utilizar Lake Formation para gestionar y proteger los datos de su lago de datos, debe registrar la AWS Glue conexión en Lake Formation. Al hacerlo, Lake Formation puede expedir credenciales a Amazon Athena para consultar las orígenes de datos federados.

     El rol debe tener los permisos Select o Describe en el bucket de Amazon S3 y la función Lambda.

     • s3: ListBucket

     • s3: GetObject

     • lambda: InvokeFunction

     JSON

     
     {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
         {
           "Effect": "Allow",
           "Action": [
             "s3:*"
           ],
           "Resource": [
             "arn:aws:s3:::amzn-s3-demo-bucket1/object/*",
             "arn:aws:s3:::amzn-s3-demo-bucket1/object"
           ]
         },
         {
           "Sid": "lambdainvoke",
           "Effect": "Allow",
           "Action": "lambda:InvokeFunction",
           "Resource": "arn:aws:lambda:us-east-1:123456789012:function:example-lambda-function"
         },
         {
           "Sid": "gluepolicy",
           "Effect": "Allow",
           "Action": "glue:*",
           "Resource": "*"
         }
       ]
     }
     
     

   • Agregue la siguiente política de confianza al rol de IAM que se utiliza para registrar la conexión:

     JSON

     {
         "Version":"2012-10-17",		 	 	 
         "Statement": [
             {
                 "Effect": "Allow",
                 "Principal": {
                     "Service": [
                         "lakeformation.amazonaws.com"
                   ]
                 },
                 "Action": "sts:AssumeRole"
             }
         ]
     }
                 
     

   • El administrador del lago de datos que registra la ubicación debe tener el permiso iam:PassRole para el rol.

     La siguiente es una política insertada que concede este permiso. <account-id>Sustitúyalo por un número de AWS cuenta válido y <role-name> sustitúyalo por el nombre del rol.

     JSON

     {
         "Version":"2012-10-17",		 	 	 
         "Statement": [
             {
                 "Sid": "PassRolePermissions",
                 "Effect": "Allow",
                 "Action": [
                     "iam:PassRole"
                 ],
                 "Resource": [
                     "arn:aws:iam::111122223333:role/example-role-name>"
                 ]
             }
         ]
     }
     

   • Para crear catálogos federados en el Catálogo de datos, a fin de asegurarse de que el rol de IAM que está utilizando sea el de administrador del lago de datos de Lake Formation, compruebe la configuración del lago de datos (aws lakeformation get-data-lake-settings).

     Si no es administrador de un lago de datos, necesita el permiso CREATE_CATALOG de Lake Formation para crear un catálogo. En el ejemplo siguiente, se muestra cómo conceder los permisos necesarios para crear catálogos.

     aws lakeformation grant-permissions \
     --cli-input-json \
             '{
                 "Principal": {
                  "DataLakePrincipalIdentifier":"arn:aws:iam::123456789012:role/non-admin"
                 },
                 "Resource": {
                     "Catalog": {
                     }
                 },
                 "Permissions": [
                     "CREATE_CATALOG",
                     "DESCRIBE"
                 ]
             }'
                 

2. Agregue la siguiente política de claves a la AWS KMS clave si utiliza una clave administrada por el cliente para cifrar los datos de la fuente de datos. Sustituya el número de cuenta por un número de AWS cuenta válido y especifique el nombre de la función. De forma predeterminada, los datos se cifran mediante una clave de KMS. Lake Formation ofrece una opción para crear la clave de KMS personalizada para el cifrado. Si utiliza una clave administrada por el cliente, debe agregar políticas de claves específicas a la clave.

   Para obtener más información sobre la administración de los permisos de una clave administrada por el cliente, consulte Claves administradas por el cliente.

   JSON

   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "kms:Encrypt",
                   "kms:Decrypt",
                   "kms:ReEncrypt*",
                   "kms:GenerateDataKey*",
                   "kms:DescribeKey"
               ],
               "Resource": "arn:aws:kms:us-east-1:123456789012:key/key-1"
           }
       ]
   }