Mit dem Snowflake Iceberg-Katalog verbinden

Melden Sie sich bei der Konsole an und öffnen Sie die Lake Formation Formation-Konsole unter https://console.aws.amazon.com/lakeformation/.

Wählen Sie im AWS Seitenbereich oben rechts die bevorzugte Region aus.

Wählen Sie im linken Navigationsbereich Kataloge aus.

Wählen Sie „Katalog erstellen“, um den Workflow „Katalog erstellen“ zu öffnen.

Wählen Sie im Schritt Datenquelle auswählen eine der verfügbaren Optionen Snowflake aus.

Im Schritt „Katalogdetails festlegen“ geben Sie drei Informationen an: Katalogdetails, Verbindungsdetails und Registrierungsdetails.

Geben Sie im Container mit den Katalogdetails einen eindeutigen Namen für Ihren AWS Glue Verbundkatalog ein und geben Sie den Namen des vorhandenen Snowflake Katalogs ein.

Im Container mit den Verbindungsdetails können Sie entweder eine bestehende Verbindung auswählen, auf die Sie Zugriff haben, oder die Konfiguration angeben, um einen neuen Connector zu erstellen.

Zu den neuen Verbindungskonfigurationen gehören:

Erstellen Sie eine IAM-Rolle, mit der die AWS Glue Dienstprinzipale von Lake Formation auf geheime Standorte bzw. Amazon S3 S3-Standorte von entfernten Iceberg-Tabellen zugreifen können. AWS Secrets Manager Wählen Sie die IAM-Rolle in der Dropdownliste für die Registrierung aus. Einzelheiten zu den IAM-Richtlinien finden Sie in den Schritten 2 und 3 im folgenden CLI-Abschnitt.

Wählen Sie Verbindung testen aus, um zu testen, ob Ihre Verbindungseigenschaften und der IAM-Rollenzugriff korrekt konfiguriert sind.

Wählen Sie Weiter aus, um Ihre Einstellungen zu überprüfen.

Wählen Sie auf der Überprüfungsseite die Option Katalog erstellen aus.

Erstellen Sie ein AWS Secrets Manager Geheimnis

Der AWS Glue Connector unterstützt zwei Authentifizierungstypen — OAuth2und Benutzerdefiniert. Wenn Sie OAuth2 die Option verwenden, verwenden Sie diese Option, AWS Secrets Manager um das Client-Geheimnis des Snowflake Dienstprinzipals zu speichern. Sie werden dieses Geheimnis später beim Erstellen der AWS Glue Verbindung verwenden. Verwenden Sie für die benutzerdefinierte Authentifizierung, AWS Secrets Manager um das Zugriffstoken zu speichern und abzurufen.

Ersetzen Sie im folgenden Beispielyour-snowflake-secret,client_secret, region durch Ihre eigenen Informationen.

aws secretsmanager create-secret \
--name your-snowflake-secret \
--description "Snowflake secret" \
--secret-string '{
"USER_MANAGED_CLIENT_APPLICATION_CLIENT_SECRET": "client_secret"
}' \
--region region

Erstellen Sie eine IAM-Rolle, die dem AWS Glue Verbindungsobjekt Zugriff auf das im vorherigen Schritt erstellte Geheimnis gewährt

Das AWS Glue Verbindungsobjekt benötigt Zugriff auf das AWS Secrets Manager Geheimnis, wenn Sie es AWS Secrets Manager zum Speichern, Abrufen und Aktualisieren Ihres OAuth geheimen Tokens verwenden. Das AWS Glue Verbindungsobjekt benötigt außerdem Zugriff, um die Amazon VPC-Netzwerkschnittstellen zu erstellen, zu beschreiben und zu verwenden, wenn Sie einen Amazon VPC-Endpunkt verwenden, um die Konnektivität zu Ihrem Snowflake Konto einzuschränken.

Erstellen Sie eine IAM-Richtlinie und fügen Sie sie einer IAM-Rolle hinzu. Fügen Sie der Vertrauensrichtlinie AWS Glue einen Dienstprinzipal hinzu.

Ersetzen Sie im folgenden Beispiel your-secrets-manager-ARNyour-vpc-id, und your-subnet-id1 durch Ihre eigenen Informationen.

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [{
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetSecretValue",
                "secretsmanager:DescribeSecret",
                "secretsmanager:PutSecretValue"
            ],
            "Resource": [
                "your-secrets-manager-ARN"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:CreateNetworkInterface",
                "ec2:DeleteNetworkInterface",
                "ec2:DescribeNetworkInterfaces"
            ],
            "Resource": "*",
            "Condition": {
                "ArnEquals": {
                    "ec2:Vpc": "arn:aws:ec2:region:account-id:vpc/your-vpc-id",
                    "ec2:Subnet": ["arn:aws:ec2:region:account-id:subnet/your-subnet-id1"]
                }
            }
        }
    ]
}

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [{
        "Effect": "Allow",
        "Principal": {
            "Service": "glue.amazonaws.com"
        },
        "Action": "sts:AssumeRole"
    }]
}

Erstellen Sie eine IAM-Richtlinie, die Lake Formation Lesezugriff auf den Amazon S3 S3-Speicherort des Katalogs gewährt

Als Katalogbesitzer eines Verbundkatalogs in Data Catalog verwenden Sie Lake Formation, um Ihren Datenteams einen groben Tabellenzugriff, feinkörnigen Zugriff auf Spalten-, Zeilen- und Zellenebene sowie tagbasierten Zugriff zu gewähren. Lake Formation verwendet eine IAM-Rolle, die ihm Zugriff auf die zugrunde liegenden Amazon S3 S3-Standorte Ihrer entfernten Iceberg-Tabellen gewährt. Dieser Zugriff ermöglicht es Lake Formation, bereichsbezogene Zugangsdaten an Analyse-Engines zu verkaufen, die Remote-Tabellen abfragen.

Erstellen Sie eine IAM-Richtlinie und fügen Sie sie einer IAM-Rolle hinzu. Fügen Sie Lake Formation Service Principal zur Rollenvertrauensrichtlinie hinzu.

Ersetzen Sie im folgenden Beispiel amzn-s3-demo-bucketN und your-kms-key durch Ihre eigenen Informationen.

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [{
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-bucket1/*",
                "arn:aws:s3:::amzn-s3-demo-bucket2/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-bucket1",
                "arn:aws:s3:::amzn-s3-demo-bucket2"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt",
                "kms:Encrypt"
            ],
            "Resource": [
                "your-kms-key"
            ]
        }
    ]
}

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [{
        "Sid": "",
        "Effect": "Allow",
        "Principal": {
            "Service": "lakeformation.amazonaws.com"
        },
        "Action": "sts:AssumeRole"
    }]
}

Erstellen Sie ein Verbindungsobjekt AWS Glue

AWS Glue Connector unterstützt OAuth2 und benutzerdefinierte Authentifizierungsmethoden. Das Datenkatalog-Verbindungsobjekt unterstützt eine CATALOG_CASING_FILTER Konfiguration, mit der Sie Objekte in Klein- oder Großbuchstaben in Ihrem Remote-Katalog in Data Catalog übernehmen können.

Das folgende Beispiel verwendet die OAuth2 Authentifizierungskonfiguration, um eine AWS Glue Verbindung herzustellen. highlighted sectionsErsetzen Sie es durch Ihre Informationen.

aws glue create-connection \
    --connection-input '{
"Name": "your-glue-connection-to-snowflake-account",
"ConnectionType": "SNOWFLAKEICEBERGRESTCATALOG",
"ConnectionProperties": {
    "INSTANCE_URL": "your-snowflake-account-URL",
    "ROLE_ARN": "your-IAM-role-for-secrets-and-VPC-access",
    "CATALOG_CASING_FILTER": "LOWERCASE_ONLY"
},
"AuthenticationConfiguration": {
    "AuthenticationType": "OAUTH2",
    "OAuth2Properties": {
        "OAuth2GrantType": "CLIENT_CREDENTIALS",
        "TokenUrl": "your-internal-or-external-token-server-url",
        "OAuth2ClientApplication": {
            "UserManagedClientApplicationClientId": "our-client-id"
        },
        "TokenUrlParametersMap": {
            "scope": "all-apis"
        }
    },
    "SecretArn": "arn:aws:secretsmanager:your-aws-region:your-aws-account-id:secret:snowflake-secret"
}
}'

AWS Glue Verbindung als Lake Formation Formation-Ressource registrieren

Mithilfe des AWS Glue Verbindungsobjekts (erstellt in Schritt 4) und der IAM-Rolle (erstellt in Schritt 3) können Sie das AWS Glue Verbindungsobjekt jetzt als von Lake Formation verwaltete Ressource registrieren.

Ersetzen Sie your-glue-connector-arn und your-IAM-role-ARN-having-LF-access durch Ihre Informationen.

aws lakeformation register-resource \
    --resource-arn your-glue-connector-arn \
    --role-arn your-IAM-role-ARN-having-LF-access \
    --with-federation \
    --with-privileged-access

Erstellen Sie einen Verbundkatalog im Datenkatalog

Nachdem Sie ein AWS Glue Verbindungsobjekt erstellt und bei Lake Formation registriert haben, können Sie im Datenkatalog einen Verbundkatalog erstellen:

Geben Sie dem Verbundkatalog einen eindeutigen Namen unteryour-federated-catalog-name, verweisen Sie unter at auf den Katalog und geben Sie den Verbindungsnamen eincatalog-name-in-Snowflake, der zuvor Snowflake unter erstellt wurde. your-glue-connection-name

aws glue create-catalog \
    --name your-federated-catalog-name \
    --catalog-input '{
    "FederatedCatalog": {
        "Identifier": catalog-name-in-Snowflake",
        "ConnectionName": your-glue-connection-name"
    },
    "CreateTableDefaultPermissions": [],
    "CreateDatabaseDefaultPermissions": []
}'