Verbünden mit Snowflake Iceberg-Katalog

Melden Sie sich an der Konsole an und öffnen Sie die Lake Formation-Konsole unter https://console.aws.amazon.com/lakeformation/.

Wählen Sie in der AWS Regionsauswahl die bevorzugte Region aus.

Wählen Sie im linken Navigationsbereich Kataloge aus.

Wählen Sie „Katalog erstellen“, um den Workflow „Katalog erstellen“ zu öffnen.

Wählen Sie im Schritt Datenquelle auswählen eine der verfügbaren Optionen Snowflake aus.

Im Schritt Katalogdetails festlegen geben Sie drei Informationen an: Katalogdetails, Verbindungsdetails und Registrierungsdetails.

Geben Sie im Container mit den Katalogdetails einen eindeutigen Namen für Ihren AWS Glue Verbundkatalog ein und geben Sie den Namen des vorhandenen Snowflake Katalogs ein.

Im Container mit den Verbindungsdetails können Sie entweder aus einer vorhandenen Verbindung auswählen, auf die Sie Zugriff haben, oder die Konfiguration angeben, um einen neuen Connector zu erstellen.

Zu den neuen Verbindungskonfigurationen gehören:

Erstellen Sie eine IAM-Rolle, die AWS Glue und Lake Formation-Serviceprinzipale verwenden können, um auf geheime Speicherorte in AWS Secrets Manager bzw. Amazon S3-Dateien von entfernten Iceberg-Tabellen zuzugreifen. Wählen Sie die IAM-Rolle in der Registrierungs-Dropdown-Liste aus. Einzelheiten zur IAM-Richtlinie finden Sie in den Schritten 2 und 3 im folgenden CLI-Abschnitt.

Wählen Sie Verbindung testen aus, um zu testen, ob Ihre Verbindungseigenschaften und der IAM-Rollenzugriff richtig konfiguriert sind.

Wählen Sie Weiter, um Ihre Einstellungen zu überprüfen.

Wählen Sie auf der Bewertungsseite Katalog erstellen aus.

Erstellen Sie ein AWS Secrets Manager Geheimnis

Der AWS Glue Connector unterstützt zwei Authentifizierungstypen: OAuth2 und Custom. Wenn Sie die OAuth2-Option verwenden, verwenden Sie diese Option, AWS Secrets Manager um das Client-Geheimnis des Dienstprinzipals zu speichern. Snowflake Sie werden dieses Geheimnis später beim Erstellen der AWS Glue Verbindung verwenden. Für die benutzerdefinierte Authentifizierung verwenden Sie AWS Secrets Manager es, um das Zugriffstoken zu speichern und abzurufen.

Ersetzen Sie im folgenden Beispielyour-snowflake-secret,client_secret, region durch Ihre eigenen Informationen.

aws secretsmanager create-secret \
--name your-snowflake-secret \
--description "Snowflake secret" \
--secret-string '{
"USER_MANAGED_CLIENT_APPLICATION_CLIENT_SECRET": "client_secret"
}' \
--region region

Erstellen Sie eine IAM-Rolle, die dem AWS Glue Verbindungsobjekt Zugriff auf das im vorherigen Schritt erstellte Geheimnis gewährt

Das AWS Glue Verbindungsobjekt benötigt Zugriff auf das AWS Secrets Manager Geheimnis, wenn Sie es AWS Secrets Manager zum Speichern, Abrufen und Aktualisieren Ihres geheimen OAuth-Tokens verwenden. Das AWS Glue Verbindungsobjekt benötigt außerdem Zugriff, um die Amazon VPC-Netzwerkschnittstellen zu erstellen, zu beschreiben und zu verwenden, wenn Sie einen Amazon VPC-Endpunkt verwenden, um die Konnektivität zu Ihrem Konto einzuschränken. Snowflake

Erstellen Sie eine IAM-Richtlinie und fügen Sie sie einer IAM-Rolle hinzu. Fügen Sie der Vertrauensrichtlinie den AWS Glue Dienstprinzipal hinzu.

Ersetzen Sie im folgenden your-secrets-manager-ARN your-vpc-id Beispiel und your-subnet-id1 durch Ihre eigenen Informationen.

{
    "Version": "2012-10-17",
    "Statement": [{
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetSecretValue",
                "secretsmanager:DescribeSecret",
                "secretsmanager:PutSecretValue"
            ],
            "Resource": [
                "your-secrets-manager-ARN"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:CreateNetworkInterface",
                "ec2:DeleteNetworkInterface",
                "ec2:DescribeNetworkInterfaces"
            ],
            "Resource": "*",
            "Condition": {
                "ArnEquals": {
                    "ec2:Vpc": "arn:aws:ec2:region:account-id:vpc/your-vpc-id",
                    "ec2:Subnet": ["arn:aws:ec2:region:account-id:subnet/your-subnet-id1"]
                }
            }
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Principal": {
            "Service": "glue.amazonaws.com"
        },
        "Action": "sts:AssumeRole"
    }]
}

Erstellen Sie eine IAM-Richtlinie, die Lake Formation Lesezugriff auf den Amazon S3-Standort des Katalogs gewährt

Als Katalogbesitzer eines Verbundkatalogs in Data Catalog verwenden Sie Lake Formation, um Ihren Datenteams grobkörnigen Tabellenzugriff, feinkörnigen Zugriff auf Spalten-, Zeilen- und Zellenebene sowie tagbasierten Zugriff zu gewähren. Lake Formation verwendet eine IAM-Rolle, die ihm Zugriff auf die zugrunde liegenden Amazon S3-Standorte Ihrer Remote-Iceberg-Tabellen gewährt. Dieser Zugriff ermöglicht es Lake Formation, spezifische Zugangsdaten an Analytics-Engines zu senden, die Remote-Tabellen abfragen.

Erstellen Sie eine IAM-Richtlinie und fügen Sie sie einer IAM-Rolle hinzu. Fügen Sie der Vertrauensrichtlinie für Rollen den Lake Formation Service Principal hinzu.

Ersetzen Sie im folgenden Beispiel amzn-s3-demo-bucketN und your-kms-key durch Ihre eigenen Informationen.

{
    "Version": "2012-10-17",
    "Statement": [{
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-bucket1/*",
                "arn:aws:s3:::amzn-s3-demo-bucket2/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-bucket1",
                "arn:aws:s3:::amzn-s3-demo-bucket2"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt",
                "kms:Encrypt"
            ],
            "Resource": [
                "your-kms-key"
            ]
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [{
        "Sid": "",
        "Effect": "Allow",
        "Principal": {
            "Service": "lakeformation.amazonaws.com"
        },
        "Action": "sts:AssumeRole"
    }]
}

Erstellen Sie ein Verbindungsobjekt AWS Glue

AWS Glue Der Connector unterstützt die Authentifizierungsmethoden OAuth2 und Custom. Das Datenkatalog-Verbindungsobjekt unterstützt eine CATALOG_CASING_FILTER Konfiguration, die es Ihnen ermöglicht, Objekte in Ihrem Remote-Katalog entweder in Klein- oder Großbuchstaben in den Datenkatalog zu übertragen.

Im folgenden Beispiel wird die OAuth2-Authentifizierungskonfiguration verwendet, um eine Verbindung herzustellen. AWS Glue Ersetzen Sie highlighted sections durch Ihre Informationen.

aws glue create-connection \
    --connection-input '{
"Name": "your-glue-connection-to-snowflake-account",
"ConnectionType": "SNOWFLAKEICEBERGRESTCATALOG",
"ConnectionProperties": {
    "INSTANCE_URL": "your-snowflake-account-URL",
    "ROLE_ARN": "your-IAM-role-for-secrets-and-VPC-access",
    "CATALOG_CASING_FILTER": "LOWERCASE_ONLY"
},
"AuthenticationConfiguration": {
    "AuthenticationType": "OAUTH2",
    "OAuth2Properties": {
        "OAuth2GrantType": "CLIENT_CREDENTIALS",
        "TokenUrl": "your-internal-or-external-token-server-url",
        "OAuth2ClientApplication": {
            "UserManagedClientApplicationClientId": "our-client-id"
        },
        "TokenUrlParametersMap": {
            "scope": "all-apis"
        }
    },
    "SecretArn": "arn:aws:secretsmanager:your-aws-region:your-aws-account-id:secret:snowflake-secret"
}
}'

Registrieren Sie die AWS Glue Verbindung als Lake Formation-Ressource

Mithilfe des AWS Glue Verbindungsobjekts (erstellt in Schritt 4) und der IAM-Rolle (erstellt in Schritt 3) können Sie das AWS Glue Verbindungsobjekt jetzt als von Lake Formation verwaltete Ressource registrieren.

Ersetzen Sie your-glue-connector-arn und your-IAM-role-ARN-having-LF-access durch Ihre Informationen.

aws lakeformation register-resource \
    --resource-arn your-glue-connector-arn \
    --role-arn your-IAM-role-ARN-having-LF-access \
    --with-federation \
    --with-privileged-access

Erstellen Sie einen Verbundkatalog im Datenkatalog

Nachdem Sie ein AWS Glue Verbindungsobjekt erstellt und es bei Lake Formation registriert haben, können Sie im Datenkatalog einen Verbundkatalog erstellen:

Geben Sie dem Verbundkatalog einen eindeutigen Namen unteryour-federated-catalog-name, verweisen Sie in Snowflake at catalog-name-in-Snowflake auf den Katalog und geben Sie den zuvor unter erstellten Verbindungsnamen ein. your-glue-connection-name

aws glue create-catalog \
    --name your-federated-catalog-name \
    --catalog-input '{
    "FederatedCatalog": {
        "Identifier": catalog-name-in-Snowflake",
        "ConnectionName": your-glue-connection-name"
    },
    "CreateTableDefaultPermissions": [],
    "CreateDatabaseDefaultPermissions": []
}'