Voraussetzungen Erforderliche Berechtigungen Erstellung von Zero-ETL-Integrationen mit einem Lakehouse Amazon SageMaker Verschlüsselung von Integrationen Nächste Schritte

Erstellen von Aurora Zero-ETL-Integrationen mit einem Lakehouse Amazon SageMaker

Wenn Sie eine Aurora Zero-ETL-Integration mit einem Amazon SageMaker Lakehouse erstellen, geben Sie den Aurora-DB-Cluster der und den verwalteten AWS Glue Zielkatalog an. Sie können auch die Verschlüsselungseinstellungen anpassen und Tags hinzufügen. Aurora erstellt eine Integration zwischen dem und seinem Ziel. Sobald die Integration aktiv ist, werden alle Daten, die Sie in den einfügen, in das konfigurierte Ziel repliziert.

Voraussetzungen

Bevor Sie eine Zero-ETL-Integration mit einem Amazon SageMaker Lakehouse erstellen, müssen Sie einen und einen verwalteten Zielkatalog erstellen. AWS Glue Sie müssen auch die Replikation in den Katalog zulassen, indem Sie den als autorisierte Integrationsquelle hinzufügen.

Anweisungen zum Ausführen der einzelnen Schritte finden Sie unter Erste Schritte mit Aurora Zero-ETL-Integrationen.

Erforderliche Berechtigungen

Bestimmte IAM-Berechtigungen sind erforderlich, um eine Zero-ETL-Integration mit einem Lakehouse zu erstellen. Amazon SageMaker Sie benötigen mindestens die Berechtigungen, um die folgenden Aktionen durchführen zu können:

Erstellen Sie Zero-ETL-Integrationen für den Aurora DB-Cluster der .
Anzeigen und Löschen aller Null-ETL-Integrationen.
Erstellen Sie eingehende Integrationen in den verwalteten Zielkatalog. AWS Glue
Greifen Sie auf Amazon S3 S3-Buckets zu, die vom AWS Glue verwalteten Katalog verwendet werden.
Verwenden Sie AWS KMS Schlüssel für die Verschlüsselung, wenn eine benutzerdefinierte Verschlüsselung konfiguriert ist.
Registrieren Sie Ressourcen bei Lake Formation.
Fügen Sie dem AWS Glue verwalteten Katalog eine Ressourcenrichtlinie hinzu, um eingehende Integrationen zu autorisieren.

Die folgende Beispielrichtlinie zeigt die Berechtigungen mit den geringsten Rechten, die zum Erstellen und Verwalten von Integrationen mit einem Lakehouse erforderlich sind. Amazon SageMaker Möglicherweise benötigen Sie genau diese Berechtigungen nicht, wenn Ihr Benutzer oder Ihre Rolle über umfassendere Berechtigungen verfügt, z. B. über eine AdministratorAccess verwaltete Richtlinie.

Darüber hinaus müssen Sie eine Ressourcenrichtlinie für den AWS Glue verwalteten Zielkatalog konfigurieren, um eingehende Integrationen zu autorisieren. Verwenden Sie den folgenden AWS CLI Befehl, um die Ressourcenrichtlinie anzuwenden.


aws glue put-resource-policy \
      --policy-in-json  '{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Principal": {
            "Service": "glue.amazonaws.com"
        },
        "Action": [
            "glue:AuthorizeInboundIntegration"
        ],
        "Resource": ["arn:aws:glue:region:account_id:catalog/catalog_name"],
        "Condition": {
            "StringEquals": {
                "aws:SourceArn": "arn:aws:rds:region:account_id:db:source_name"
            }
        }
    },
    {
        "Effect": "Allow",
        "Principal": {
            "AWS": "account_id"
        },
        "Action": ["glue:CreateInboundIntegration"],
        "Resource": ["arn:aws:glue:region:account_id:catalog/catalog_name"]
    }
    ]
}' \
      --region region

Anmerkung

Amazon Resource Names (ARNs) für den Glue-Katalog haben das folgende Format:

Kleberkatalog — arn:aws:glue:{region}:{account-id}:catalog/catalog-name

Auswahl eines AWS Glue verwalteten Zielkatalogs in einem anderen Konto

Wenn Sie einen AWS Glue verwalteten Zielkatalog angeben möchten, der sich in einem anderen AWS-Konto befindet, müssen Sie eine Rolle erstellen, die es Benutzern im aktuellen Konto ermöglicht, auf Ressourcen im Zielkonto zuzugreifen. Weitere Informationen finden Sie unter Gewähren des Zugriffs für einen IAM-Benutzer in einem anderen AWS-Konto , dem Sie gehören.

Die Rolle muss über die folgenden Berechtigungen verfügen, die es dem Benutzer ermöglichen, die verfügbaren AWS Glue Kataloge im Zielkonto einzusehen.


{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Action":[
            "glue:GetCatalog"
         ],
         "Resource":[
            "*"
         ]
      }
   ]
}

Die Rolle muss über die folgende Vertrauensrichtlinie verfügen, die die Zielkonto-ID angibt.


{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Principal":{
            "AWS": "arn:aws:iam::{external-account-id}:root"
         },
         "Action":"sts:AssumeRole"
      }
   ]
}

Anweisungen zum Erstellen der Rolle finden Sie unter Erstellen einer Rolle mit benutzerdefinierten Vertrauensrichtlinien.

Erstellung von Zero-ETL-Integrationen mit einem Lakehouse Amazon SageMaker

Sie können eine Zero-ETL-Integration mit einem Amazon SageMaker Lakehouse mithilfe der AWS Management Console, der oder der RDS-API erstellen. AWS CLI

Wichtig

Zero-ETL-Integrationen mit einem Amazon SageMaker Lakehouse unterstützen keine Aktualisierungs- oder Resynchronisierungsvorgänge. Wenn nach der Erstellung Probleme mit einer Integration auftreten, müssen Sie die Integration löschen und eine neue erstellen.

Um eine Zero-ETL-Integration mit einem Lakehouse zu erstellen Amazon SageMaker

Melden Sie sich bei der an AWS Management Console und öffnen Sie die Amazon RDS-Konsole unter https://console.aws.amazon.com/rds/.
Wählen Sie im linken Navigationsbereich Zero-ETL-Integrationen aus.
Wählen Sie Zero-ETL-Integration erstellen aus.
Geben Sie für Integrationskennung einen Namen für die Integration ein. Der Name kann bis zu 63 alphanumerische Zeichen umfassen und Bindestriche enthalten.
Wählen Sie Weiter aus.
Wählen Sie als Quelle den Aurora DB-Cluster der aus, aus dem die Daten stammen sollen.

Anmerkung
RDS benachrichtigt Sie, wenn die DB-Cluster-Parameter nicht korrekt konfiguriert sind. Wenn Sie diese Nachricht erhalten, können Sie entweder Reparieren wählen oder eine manuelle Konfiguration vornehmen. Anweisungen zur manuellen Behebung finden Sie unter Schritt 1: Erstellen einer benutzerdefinierten DB-Cluster-Parametergruppe.
Das Ändern der DB-Cluster-Parameter erfordert einen Neustart. Bevor Sie die Integration erstellen können, muss der Neustart abgeschlossen sein und die neuen Parameterwerte müssen erfolgreich auf den angewendet werden.
(Optional) Wählen Sie Datenfilteroptionen anpassen aus und fügen Sie Ihrer Integration Datenfilter hinzu. Sie können Datenfilter verwenden, um den Umfang der Replikation bis zum Amazon SageMaker Ziel-Lakehouse zu definieren. Weitere Informationen finden Sie unter Datenfilterung für Aurora Zero-ETL-Integrationen.
Sobald Ihr erfolgreich konfiguriert wurde, wählen Sie Weiter.
Gehen Sie bei Ziel wie folgt vor:
1. (Optional) Um ein anderes AWS-Konto für das Amazon SageMaker Lakehouse-Ziel zu verwenden, wählen Sie Anderes Konto angeben aus. Geben Sie dann den ARN einer IAM-Rolle mit Berechtigungen zum Anzeigen Ihrer AWS Glue Kataloge ein. Anweisungen zum Erstellen der IAM-Rolle finden Sie unter Auswahl eines AWS Glue verwalteten Zielkatalogs in einem anderen Konto.
2. Wählen Sie für AWS Glue Katalog das Ziel für replizierte Daten aus dem aus. Sie können einen vorhandenen AWS Glue verwalteten Katalog als Ziel wählen.
3. Die Ziel-IAM-Rolle muss die Berechtigungen für den Zielkatalog beschreiben und über die folgenden Berechtigungen verfügen:
```
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": "glue:GetCatalog",
            "Resource": [
                "arn:aws:glue:region:account-id:catalog/*",
                "arn:aws:glue:region:account-id:catalog"
            ]
        }
    ]
}
```
  Die Ziel-IAM-Rolle muss über die folgende Vertrauensstellung verfügen:
```
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}
```
4. Sie müssen der Ziel-IAM-Rolle Beschreibungsberechtigungen für den AWS Glue verwalteten Zielkatalog mit der Lake Formation-Administratorrolle gewähren, die in Schritt 3b: Erstellen Sie einen AWS Glue Katalog für die Amazon SageMaker Zero-ETL-Integration erstellt wurde.
Anmerkung
RDS benachrichtigt Sie, wenn die Ressourcenrichtlinien oder die Konfigurationseinstellungen für den angegebenen AWS Glue verwalteten Katalog nicht korrekt konfiguriert sind. Wenn Sie diese Nachricht erhalten, können Sie entweder Reparieren wählen oder eine manuelle Konfiguration vornehmen.
Wenn sich Ihre gewählte Quelle und Ihr Ziel in verschiedenen AWS-Konten befinden, kann Amazon RDS diese Einstellungen nicht für Sie korrigieren. Sie müssen zu dem anderen Konto navigieren und die Fehler manuell korrigieren. SageMaker Unified Studio
Sobald Ihr AWS Glue verwalteter Zielkatalog korrekt konfiguriert ist, wählen Sie Weiter.
(Optional) Fügen Sie unter Tags ein oder mehrere Tags zu der Integration hinzu. Weitere Informationen finden Sie unter Verschlagwortung von Amazon Aurora und Amazon-Ressourcen RDS.
Geben Sie für Verschlüsselung an, wie Ihre Integration verschlüsselt werden soll. Standardmäßig verschlüsselt RDS alle Integrationen mit einem. AWS-eigener Schlüssel Um stattdessen einen vom Kunden verwalteten Schlüssel auszuwählen, aktivieren Sie die Option Verschlüsselungseinstellungen anpassen und wählen Sie einen KMS-Schlüssel aus, der für die Verschlüsselung verwendet werden soll. Weitere Informationen finden Sie unter Verschlüsseln von Amazon Aurora-Ressourcen.

Fügen Sie optional einen Verschlüsselungskontext hinzu. Weitere Informationen finden Sie unter Verschlüsselungskontext im AWS Key Management Service -Entwicklerhandbuch.
Anmerkung
Amazon RDS fügt zusätzlich zu den von Ihnen hinzugefügten Verschlüsselungskontextpaaren die folgenden Verschlüsselungskontextpaare hinzu:
- aws:glue:integration:arn - IntegrationArn
- aws:servicename:id - glue
Dies reduziert die Gesamtzahl der Paare, die Sie hinzufügen können, von 8 auf 6 und trägt zur allgemeinen Zeichenbeschränkung der Grant-Beschränkung bei. Weitere Informationen finden Sie im AWS Key Management Service Developer Guide unter Using Grant Constraints.
Wählen Sie Weiter aus.
Überprüfen Sie Ihre Integrationseinstellungen und wählen Sie Null-ETL-Integration erstellen aus.

Wenn die Erstellung fehlschlägt, finden Sie Informationen zur Fehlerbehebung unter Fehlerbehebung Aurora Zero-ETL-Integrationen.

Die Integration hat den Status „CreatingWird gerade erstellt“, und das Amazon SageMaker Ziel-Lakehouse hat den Status. Modifying Während dieser Zeit können Sie den Katalog nicht abfragen und keine Konfigurationsänderungen daran vornehmen.

Wenn die Integration erfolgreich erstellt wurde, ändern sich sowohl der Status der Integration als auch des Amazon SageMaker Ziel-Lakehouse aufActive.

Um einen AWS Glue verwalteten Zielkatalog für die Zero-ETL-Integration mit dem vorzubereiten AWS CLI, müssen Sie zunächst den create-integration-resource-propertyBefehl mit den folgenden Optionen verwenden:

--resource-arn— Geben Sie den ARN des AWS Glue verwalteten Katalogs an, der das Ziel für die Integration sein soll.
--target-processing-properties— Geben Sie den ARN der IAM-Rolle an, um auf den AWS Glue verwalteten Zielkatalog zuzugreifen


aws glue create-integration-resource-property --region us-east-1
 --resource-arn arn:aws:glue:region:account_id:catalog/catalog_name \
 --target-processing-properties '{"RoleArn" : "arn:aws:iam::account_id:role/TargetIamRole"}'

Um mithilfe von eine Zero-ETL-Integration mit einem Amazon SageMaker Lakehouse zu erstellen AWS CLI, verwenden Sie den Befehl create-integration mit den folgenden Optionen:

--integration-name – Geben Sie einen Namen für die Integration an.
--source-arn— Geben Sie den ARN des Aurora-DB-Clusters der an, der die Quelle für die Integration sein wird.
--target-arn— Geben Sie den ARN des AWS Glue verwalteten Katalogs an, der das Ziel für die Integration sein soll.

Für LinuxmacOS, oderUnix:


aws rds create-integration \
    --integration-name my-sagemaker-integration \
    --source-arn arn:aws:rds:{region}:{account-id}:my-db \
    --target-arn arn:aws:glue:{region}:{account-id}:catalog/catalog-name

Windows:


aws rds create-integration ^
    --integration-name my-sagemaker-integration ^
    --source-arn arn:aws:rds:{region}:{account-id}:my-db ^
    --target-arn arn:aws:glue:{region}:{account-id}:catalog/catalog-name

Um mithilfe der Amazon RDS-API eine Zero-ETL-Integration zu erstellen, verwenden Sie den CreateIntegrationVorgang mit den folgenden Parametern: Amazon SageMaker

Anmerkung

Katalognamen sind auf 19 Zeichen begrenzt. Stellen Sie sicher, dass Ihr IntegrationName Parameter diese Anforderung erfüllt, wenn er als Katalogname verwendet werden soll.

IntegrationName – Geben Sie einen Namen für die Integration an.
SourceArn— Geben Sie den ARN des Aurora-DB-Clusters der an, der die Quelle für die Integration sein wird.
TargetArn— Geben Sie den ARN des AWS Glue verwalteten Katalogs an, der das Ziel für die Integration sein soll.

Verschlüsselung von Integrationen mit einem vom Kunden verwalteten Schlüssel

Wenn Sie AWS-eigener Schlüssel beim Erstellen einer Integration mit einen benutzerdefinierten KMS-Schlüssel und nicht einen angebenAmazon SageMaker, muss die Schlüsselrichtlinie dem SageMaker Unified Studio Dienstprinzipal Zugriff auf die Aktion gewähren. CreateGrant Darüber hinaus muss es dem aktuellen Benutzer ermöglicht werden, die CreateGrant Aktionen DescribeKey und auszuführen.

Die folgende Beispielrichtlinie zeigt, wie die erforderlichen Berechtigungen in der Schlüsselrichtlinie bereitgestellt werden. Sie enthält Kontextschlüssel, um den Umfang der Berechtigungen weiter zu reduzieren.


{
    "Version": "2012-10-17",
    "Id": "Key policy",
    "Statement": [
        {
            "Sid": "Enables IAM user permissions",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::{account-ID}:root"
            },
            "Action": "kms:*",
            "Resource": "*"
        },
        {
            "Sid": "Allows the Glue service principal to add a grant to an AWS KMS key",
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "kms:CreateGrant",
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "kms:EncryptionContext:{context-key}":"{context-value}"
                },
                "ForAllValues:StringEquals": {
                    "kms:GrantOperations": [
                        "Decrypt",
                        "GenerateDataKey",
                        "CreateGrant"
                    ]
                }
            }
        },
        {
            "Sid": "Allows the current user or role to add a grant to a KMS key",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::{account-ID}:role/{role-name}"
            },
            "Action": "kms:CreateGrant",
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "kms:EncryptionContext:{context-key}":"{context-value}",
                    "kms:ViaService": "rds.us-east-1.amazonaws.com"
                },
                "ForAllValues:StringEquals": {
                    "kms:GrantOperations": [
                        "Decrypt",
                        "GenerateDataKey",
                        "CreateGrant"
                    ]
                }
            }
        },
        {
            "Sid": "Allows the current uer or role to retrieve information about a KMS key",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::{account-ID}:role/{role-name}"
            },
            "Action": "kms:DescribeKey",
            "Resource": "*"
        }
    ]
}

Weitere Informationen finden Sie unter Erstellen einer Schlüsselrichtlinie im AWS Key Management Service -Entwicklerhandbuch.

Nächste Schritte

Nachdem Sie erfolgreich eine Zero-ETL-Integration mit erstellt haben, können Sie damit beginnenAmazon SageMaker, Daten zum Aurora-DB-Cluster der hinzuzufügen und sie in Ihrem Lakehouse abzufragen. Amazon SageMaker Die Daten werden automatisch repliziert und für Analysen und maschinelles Lernen zur Verfügung gestellt.

Warnung JavaScript ist in Ihrem Browser nicht verfügbar oder deaktiviert.

Zur Nutzung der AWS-Dokumentation muss JavaScript aktiviert sein. Weitere Informationen finden auf den Hilfe-Seiten Ihres Browsers.

Dokumentkonventionen

Erstellen von Zero-ETL-Integrationen mit Amazon Redshift

Datenfilterung für Zero-ETL-Integrationen