Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfiguration eines Ziels für eine Zero-ETL-Integration

AWS Glue Bei der Konfiguration eines Ziels für eine Zero-ETL-Integration stehen mehrere Optionen zur Verfügung. Das Ziel kann ein verschlüsseltes Amazon Redshift Data Warehouse oder eine Lakehouse-Architektur von Amazon sein. SageMaker

Bevor Sie das Ziel für die Null-ETL-Integration auswählen, müssen Sie eine der folgenden Zielressourcen konfigurieren. Folgende sind Konfigurationsoptionen für ein Ziel in einer Null-ETL-Integration:

Konfiguration eines S3-Bucket-Ziels für allgemeine Zwecke

In diesem Abschnitt werden die Voraussetzungen und Einrichtungsschritte für die Konfiguration eines Allzweck-S3-Buckets als Speicher für Ihr Ziel in einer Zero-ETL-Integration unter Verwendung der Lakehouse-Architektur von Amazon beschrieben. SageMaker

Bevor Sie eine Zero-ETL-Integration mit der Lakehouse-Architektur von Amazon SageMaker unter Verwendung von Allzweck-S3-Speicher erstellen, müssen Sie die folgenden Einrichtungsaufgaben ausführen:

Einrichtung einer AWS Glue Datenbank

So richten Sie eine Zieldatenbank im Datenkatalog mit einem Amazon S3-Bucket-Speicherort für allgemeine Zwecke ein:

Informationen zum Erstellen einer neuen Datenbank finden Sie unter Erste Schritte mit dem Datenkatalog. AWS Glue

Sie können die Datenbank in AWS Glue auch mit der create-database-CLI erstellen. Beachten Sie, dass der LocationUri in --database-input erforderlich ist.

Optimieren von Iceberg-Tabellen

Sobald eine Tabelle AWS Glue in der Zieldatenbank erstellt wurde, können Sie die Komprimierung aktivieren, um Abfragen in Amazon Athena zu beschleunigen. Informationen zum Einrichten der Ressourcen (IAM-Rolle) zur Komprimierung finden Sie unter Voraussetzungen für die Tabellenoptimierung.

Weitere Informationen zum Einrichten der Komprimierung für die von der Integration erstellte AWS Glue Tabelle finden Sie unter Optimieren von Iceberg-Tabellen.

Bereitstellen einer RBAC-Richtlinie (Resource Based Access – ressourcenbasierter Zugriff) für den Katalog

Für Integrationen, die eine AWS Glue Datenbank verwenden, fügen Sie der RBAC-Richtlinie für den Katalog die folgenden Berechtigungen hinzu, um Integrationen zwischen Quelle und Ziel zu ermöglichen.

Sie können unter Datenkatalog auf die Katalogeinstellungen zugreifen. Geben Sie dann die folgenden Berechtigungen ein und geben Sie die fehlenden Informationen ein.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

Erstellen einer IAM-Zielrolle

Erstellen Sie eine IAM-Zielrolle mit den folgenden Berechtigungen und Vertrauensstellungen:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::amzn-s3-bucket",
            "Effect": "Allow"
        },
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject"
            ],
            "Resource": "arn:aws:s3:::amzn-s3-demo-bucket/prefix/*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:GetDatabase"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:CreateTable",
                "glue:GetTable",
                "glue:GetTables",
                "glue:DeleteTable",
                "glue:UpdateTable",
                "glue:GetTableVersion",
                "glue:GetTableVersions",
                "glue:GetResourcePolicy"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name",
                "arn:aws:glue:us-east-1:111122223333:table/database-name/*"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "cloudwatch:PutMetricData"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "cloudwatch:namespace": "AWS/Glue/ZeroETL"
                }
            },
            "Effect": "Allow"
        },
        {
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

Fügen Sie die folgende Vertrauensrichtlinie hinzu, damit der AWS Glue Dienst die Rolle übernehmen kann:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Ordnen Sie der Zielressource die Zielrolle, KMS (optional) und Connection (optional) zu

Ordnen Sie die obige Zielrolle der Zielressource zu, d. h. der AWS Glue Datenbank. Optional können KMS zum Verschlüsseln der Daten vor dem Speichern in der Ziel-Iceberg-Tabelle und Verbindungs-ARN für den Zugriff auf den S3-Bucket für die AWS Glue Zieldatenbank konfiguriert werden. Auf diese Weise können AWS Glue Sie mithilfe der bereitgestellten Rolle auf Daten am S3-Zielstandort zugreifen und optional mit dem bereitgestellten KMS-Schlüssel verschlüsseln. Wenn der Ziel-S3-Bucket so konfiguriert ist, dass er über eine bestimmte VPC zugänglich ist, kann der Verbindungs-ARN zugeordnet werden, sodass AWS Glue die Verarbeitung innerhalb dieser VPC ausgeführt werden kann. Weitere Informationen zum Einrichten einer VPC finden Sie unter Erstellen einer VPC.

Oder mit der AWS Glue CLI/API:

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--target-processing-properties '{"RoleArn": "arn:aws:iam::123456789012:role/gmi_target_role"}' \
--region us-east-1

(Optional) Konfigurieren Sie die Eigenschaften der Zieltabelle

Optional können die Eigenschaften der Zieltabelle für die Zieltabellen konfiguriert werden, die mit dem Ziel synchronisiert werden sollen.

Sie können diese Einstellungen im Abschnitt Ausgabeeinstellungen des Workflows zur Integrationserstellung in der AWS Glue Konsole konfigurieren:

Wenn Sie Benutzerdefinierte Partitionsschlüssel angeben auswählen, können Sie Partitionsschlüssel sowie deren Funktions- und Konvertierungsspezifikationen konfigurieren:

Wenn sich Quelle und Ziel im selben Konto befinden, kann diese Konfiguration als Teil des Workflows zur Integrationserstellung von der AWS Glue Konsolenbenutzeroberfläche aus vorgenommen werden. Wenn sich das Ziel jedoch in einem anderen Konto befindet, muss diese Konfiguration abgeschlossen sein, bevor die Integration erstellt wird. Wenn Sie die CLI oder API verwenden, sollte dies vor dem Aufrufen der Create-Integration API erfolgen, auch wenn sich Quelle und Ziel im selben Konto befinden. AWS Glue Die Konsolen-Benutzeroberfläche kapselt nur diesen API-Aufruf für dasselbe Kontenszenario.

Wenn dies nicht konfiguriert ist, werden beim Synchronisieren der Tabelle Standardwerte verwendet. Diese Konfiguration kann auch jederzeit nach der Erstellung der Integration geändert werden.

Eigenschaftskonflikte in der Zieltabelle

Zwei Dinge identifizieren eine Reihe von Zieltabelleneigenschaften: den Zielressourcen-ARN und den Namen der Quelltabelle. Die Zielressource ist die AWS Glue Datenbank für ein Amazon S3-Ziel für allgemeine Zwecke. Bei einem Amazon S3 Tables-Ziel handelt es sich um den Amazon S3 Tables-Katalog. Jede Kombination aus Zielressource und Quelltabelle kann jeweils nur einer Integration zugeordnet werden. Daher können zwei Integrationen nicht dieselbe Quelltabelle in dieselbe Zielressource schreiben. Wenn Sie eine zweite Integration für dieselbe Kombination erstellen, wird der Konflikt AWS Glue identifiziert und verhindert. Dadurch wird verhindert, dass eine Integration die Daten einer anderen Integration überschreibt.

AWS Glue setzt diese Regel durch, unabhängig davon, ob Sie die Konsole, die CLI oder die API verwenden. In der Konsole erkennt der Schritt Ausgabeeinstellungen Konflikte, bevor Sie fortfahren, sodass Sie sie lösen können, bevor Sie die Integration erstellen. Dies gilt für Quellen mit einer Tabelle wie Amazon DynamoDB und für Quellen mit mehreren Tabellen wie SaaS-Anwendungen. Die Zieleigenschaften einer Quelltabelle können nur einer Integration gehören, sodass eine Quelltabelle, die bereits von einer anderen Integration beansprucht wird, nicht von Ihrer repliziert wird, bis Sie den Konflikt gelöst haben.

Wie die Konsole einen Konflikt anzeigt, hängt von der Anzahl der Quelltabellen ab:

Der folgende Screenshot zeigt die Tabelle mit den Ausgabeeinstellungen für mehrere Tabellen (SaaS) mit den Spalten Aktion erforderlich und Hinweise.

In der Konsole wird die Meldung in der Spalte „Notizen“ für Quellen mit mehreren Tabellen oder in der Inline-Warnung für Quellen mit nur einer Tabelle angezeigt. Sie kennzeichnet eine Quelltabelle, wenn eine der folgenden Bedingungen zutrifft:

Mit CLI oder API:

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--table-name table-name \
--target-table-config '{
        "UnnestSpec":"TOPLEVEL"|"FULL"|"NOUNNEST",
        "PartitionSpec":
            [
                {
                    "FieldName":"string",
                    "FunctionSpec":"string",
                    "ConversionSpec":"string"}
                    ...
             ],
         "TargetTableName":"string"
     }' \
--region us-east-1

Nachdem Sie die Lakehouse-Architektur von Amazon SageMaker mit Amazon S3-Bucket-Allzweckspeicher konfiguriert haben, können Sie mit der Einrichtung der Integration fortfahren. Konfigurieren der Integration mit Ihrem Ziel

Konfiguration eines Amazon S3 Tables-Bucket-Ziels

In diesem Abschnitt werden die Voraussetzungen und Einrichtungsschritte für die Konfiguration von Amazon S3 Tables als Ziel für Ihre Zero-ETL-Integration unter Verwendung der Lakehouse-Architektur von Amazon beschrieben. SageMaker

Bevor Sie eine Null-ETL-Integration mit Amazon S3 Tables als Ziel erstellen, müssen Sie die folgenden Einrichtungsschritte durchführen:

Richten Sie den Amazon S3-Tabellen-Bucket ein (mit Integration der Analysedienste)

Geben Sie die RBAC-Richtlinie für den Katalog an.

Die folgenden Berechtigungen müssen der RBAC-Richtlinie für den Katalog hinzugefügt werden, um Integrationen zwischen der Quelle und dem Amazon-S3-Tables-Katalogziel zu ermöglichen.

Die Ressourcenrichtlinie für den AWS Glue Zielkatalog muss AWS Glue Serviceberechtigungen für enthalten. AuthorizeInboundIntegration Darüber hinaus ist eine CreateInboundIntegration Genehmigung entweder für den Quellprinzipal, der die Integration erstellt, oder für die AWS Glue Zielressourcenrichtlinie erforderlich.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
      "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

Erstellen einer IAM-Zielrolle

Erstellen Sie eine IAM-Zielrolle mit den folgenden Berechtigungen und Vertrauensstellungen:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": [
        "s3tables:ListTableBuckets",
        "s3tables:GetTableBucket",
        "s3tables:GetTableBucketEncryption",
        "s3tables:GetNamespace",
        "s3tables:CreateNamespace",
        "s3tables:ListNamespaces",
        "s3tables:CreateTable",
        "s3tables:DeleteTable",
        "s3tables:GetTable",
        "s3tables:GetTableEncryption",
        "s3tables:ListTables",
        "s3tables:GetTableMetadataLocation",
        "s3tables:UpdateTableMetadataLocation",
        "s3tables:GetTableData",
        "s3tables:PutTableData"
      ],
      "Resource": "arn:aws:s3tables:us-east-1:111122223333:bucket/s3-table-bucket",
      "Effect": "Allow"
    },
    {
      "Action": [
        "cloudwatch:PutMetricData"
      ],
      "Resource": "*",
      "Condition": {
        "StringEquals": {
          "cloudwatch:namespace": "AWS/Glue/ZeroETL"
        }
      },
      "Effect": "Allow"
    },
    {
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": "*",
      "Effect": "Allow"
    }
  ]
}

Fügen Sie der IAM-Zielrolle die folgende Vertrauensrichtlinie hinzu, damit der AWS Glue Service sie übernehmen kann:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Ordnen Sie der Zielressource die Zielrolle, KMS (optional) und Connection (optional) zu

Ordnen Sie die obige Zielrolle der Zielressource zu. Optional können KMS zum Verschlüsseln der Daten vor dem Speichern in der Ziel-Iceberg-Tabelle und Verbindungs-ARN für den Zugriff auf den Ziel-S3-Bucket konfiguriert werden. Wenn der Ziel-S3-Bucket so konfiguriert ist, dass er über eine bestimmte VPC zugänglich ist, kann der Verbindungs-ARN zugeordnet werden, sodass die Verarbeitung innerhalb AWS Glue dieser VPC ausgeführt werden kann. Weitere Informationen zum Einrichten einer VPC finden Sie unter Erstellen einer VPC.

Verwenden der AWS Glue CLI/API:

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--target-processing-properties '{
                    "RoleArn": "arn:aws:iam::123456789012:role/target_role"
                }' \
--region us-east-1

(Optional) Konfigurieren Sie die Eigenschaften der Zieltabelle

Optional können die Eigenschaften der Zieltabelle für die Zieltabellen konfiguriert werden, die mit dem Ziel synchronisiert werden sollen. Es gelten dieselben Regeln wie im Abschnitt für allgemeine S3-Ziele beschrieben. Die vollständige Liste der Konfliktbedingungen finden Sie unterEigenschaftskonflikte in der Zieltabelle.

CLI oder API verwenden:

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--table-name table-name \
--target-table-config '' \
--region us-east-1

Nachdem Sie den S3-Tables Amazon-Speicher mithilfe der Lakehouse-Architektur von Amazon konfiguriert haben SageMaker, können Sie mit der Einrichtung der Integration fortfahren. Konfigurieren der Integration mit Ihrem Ziel

Konfiguration eines Amazon Redshift Ziel für verwalteten Speicher

In diesem Abschnitt werden die Voraussetzungen und Einrichtungsschritte für die Konfiguration eines Amazon Redshift verwalteten Speichers (RMS) als Ziel für Ihre Zero-ETL-Integration unter Verwendung der Lakehouse-Architektur von Amazon beschrieben. SageMaker

Bevor Sie eine Zero-ETL-Integration mit einer Lakehouse-Architektur von Amazon SageMaker mithilfe von Redshift Managed Storage erstellen, müssen Sie die folgenden Einrichtungsaufgaben ausführen:

Einrichtung Amazon Redshift verwalteter Speicher

So richten Sie Amazon Redshift verwalteten Speicher für Ihre Zero-ETL-Integration ein:

Nachdem Sie den Amazon SageMaker Lakehouse-Katalog mit Amazon Redshift verwaltetem Speicher konfiguriert haben, können Sie mit der Einrichtung der Integration fortfahren. Konfigurieren der Integration mit Ihrem Ziel

Konfiguration eines Amazon Redshift Data Warehouse-Ziel

In diesem Abschnitt werden die Voraussetzungen und Einrichtungsschritte für die Konfiguration eines Amazon Redshift Data Warehouse als Ziel für Ihre Zero-ETL-Integration beschrieben.

Bevor Sie eine Zero-ETL-Integration mit einem Amazon Redshift Data Warehouse-Ziel erstellen, müssen Sie die folgenden Einrichtungsaufgaben ausführen:

Einrichtung des Amazon Redshift Data Warehouse

So richten Sie ein Amazon Redshift Data Warehouse für Ihre Zero-ETL-Integration ein:

Nachdem Sie das Amazon Redshift Data Warehouse konfiguriert haben, können Sie fortfahren, Konfigurieren der Integration mit Ihrem Ziel um die Einrichtung der Integration abzuschließen.

Konfigurieren der Integration mit Ihrem Ziel

Gehen Sie nach der Konfiguration der Quell- und Zielressourcen wie folgt vor, um das Integrations-Setup abzuschließen:

Verwenden Sie Folgendes, um die Integration per API oder CLI zu erstellen: CreateIntegration API.