Null-ETL-Integration von DynamoDB in Amazon Redshift - Amazon DynamoDB
VoraussetzungenEinschränkungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Null-ETL-Integration von DynamoDB in Amazon Redshift

Die Null-ETL-Integration von Amazon DynamoDB in Amazon Redshift ermöglicht eine reibungslose Analyse von DynamoDB-Daten ohne jegliche Codierung. Durch dieses vollständig verwaltete Feature werden DynamoDB-Tabellen automatisch in eine Amazon-Redshift-Datenbank repliziert, sodass Benutzer SQL-Abfragen und Analysen für ihre Daten ausführen können, ohne komplexe ETL-Prozesse einrichten zu müssen. Die Integration funktioniert durch die Replikation von Daten aus der DynamoDB-Tabelle in die Amazon-Redshift-Datenbank.

Geben Sie zur Einrichtung einfach eine DynamoDB-Tabelle als Quelle und eine Amazon-Redshift-Datenbank als Ziel an. Bei der Aktivierung exportiert die Integration die vollständige DynamoDB-Tabelle und füllt die Amazon Redshift-Datenbank. Die für diesen ersten Prozess benötigte Zeit ist abhängig von der Größe der DynamoDB-Tabelle. Durch die Null-ETL-Integration werden dann mithilfe inkrementeller DynamoDB-Exporte alle 15 bis 30 Minuten Aktualisierungen von DynamoDB-Daten in Amazon Redshift repliziert. Das bedeutet, dass die replizierten DynamoDB-Daten in Amazon Redshift automatisch aufbewahrt werden. up-to-date

Nach der Konfiguration können Benutzer die DynamoDB-Daten in Amazon Redshift mithilfe von SQL-Standard-Clients und -Tools analysieren, ohne dass sich dies auf die Leistung der DynamoDB-Tabellen auswirkt. Durch den Wegfall des umständlichen ETL-Prozesses bietet diese Null-ETL-Integration eine schnelle und einfache Möglichkeit, mithilfe von Amazon-Redshift-Analysen und -Funktionen für Machine Learning Erkenntnisse aus DynamoDB-Daten zu gewinnen.

Themen

Voraussetzungen zum Erstellen einer Null-ETL-Integration von DynamoDB in Amazon Redshift

  1. Voraussetzung für die Integration ist die Erstellung einer DynamoDB-Quelltabelle und eines Amazon-Redshift-Zielclusters. Weitere Informationen hierzu finden Sie unter Schritt 1: Konfigurieren einer DynamoDB-Quelltabelle und Schritt 2: Erstellen eines Data-Warehouse für Amazon Redshift.

  2. Für eine Zero-ETL-Integration zwischen Amazon DynamoDB und Amazon Redshift muss in Ihrer DynamoDB-Quelltabelle Recovery (PITR) aktiviert sein. Point-in-time

  3. Wenn ressourcenbasierte Richtlinien vorliegen und Sie eine Integration erstellen, bei der sich die DynamoDB-Tabelle und das Data Warehouse von Amazon Redshift im selben Konto befinden, können Sie im Schritt „Integration erstellen“ mit der Option Reparieren Sie es für mich die erforderlichen Ressourcenrichtlinien automatisch sowohl auf DynamoDB als auch auf Amazon Redshift anwenden.

    Wenn Sie eine Integration erstellen, bei der sich Ihre DynamoDB-Tabelle und Ihr Amazon Redshift Data Warehouse in unterschiedlichen AWS Konten befinden, müssen Sie die folgende Ressourcenrichtlinie auf Ihre DynamoDB-Tabelle anwenden.

    JSON
    {
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "StatementthatallowsAmazonRedshiftservicetoDescribeTableandExportTable",
            "Effect": "Allow",
            "Principal": {
                "Service": "redshift.amazonaws.com"
            },
            "Action": [
                "dynamodb:ExportTableToPointInTime",
                "dynamodb:DescribeTable"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": "111122223333"
                },
                "ArnEquals": {
                    "aws:SourceArn": "arn:aws:redshift:us-east-1:111122223333:integration:*"
                }
            }
        },
        {
            "Sid": "StatementthatallowsAmazonRedshiftservicetoDescribeTableandExportTable",
            "Effect": "Allow",
            "Principal": {
                "Service": "redshift.amazonaws.com"
            },
            "Action": "dynamodb:DescribeExport",
            "Resource": "arn:aws:dynamodb:us-east-1:111122223333:table/table-name/export/*",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": "111122223333"
                },
                "ArnEquals": {
                    "aws:SourceArn": "arn:aws:redshift:us-east-1:111122223333:integration:*"
                }
            }
        }
    ]
}

    Möglicherweise müssen Sie auch die Ressourcenrichtlinie im Data Warehouse von Amazon Redshift konfigurieren. Weitere Informationen finden Sie unter Konfigurieren einer Autorisierung unter Verwendung der Amazon-Redshift-API.

  4. Bei identitätsbasierten IAM-Richtlinien:

    1. Der Benutzer, der die Integration erstellt, benötigt eine identitätsbasierte Richtlinie, die die folgenden Aktionen autorisiert: GetResourcePolicy, PutResourcePolicy und UpdateContinuousBackups.

      Anmerkung

      In den folgenden Beispielrichtlinien wird die Ressource als arn:aws:redshift{-serverless} angezeigt. Dieses Beispiel zeigt, dass der ARN je nachdem, ob es sich bei dem Namespace um einen Amazon-Redshift-Cluster oder einen Amazon-Redshift-Serverless-Namespace handelt, arn:aws:redshift oder arn:aws:redshift-serverless lauten kann.

      JSON
      {
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "dynamodb:ListTables"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "dynamodb:GetResourcePolicy",
                "dynamodb:PutResourcePolicy",
                "dynamodb:UpdateContinuousBackups"
            ],
            "Resource": [
                "arn:aws:dynamodb:us-east-1:111122223333:table/table-name"
            ]
        },
        {
            "Sid": "AllowRedshiftDescribeIntegration",
            "Effect": "Allow",
            "Action": [
                "redshift:DescribeIntegrations"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowRedshiftCreateIntegration",
            "Effect": "Allow",
            "Action": "redshift:CreateIntegration",
            "Resource": "arn:aws:redshift:us-east-1:111122223333:integration:*"
        },
        {
            "Sid": "AllowRedshiftModifyDeleteIntegration",
            "Effect": "Allow",
            "Action": [
                "redshift:ModifyIntegration",
                "redshift:DeleteIntegration"
            ],
            "Resource": "arn:aws:redshift:us-east-1:111122223333:integration:uuid"
        },
        {
            "Sid": "AllowRedshiftCreateInboundIntegration",
            "Effect": "Allow",
            "Action": "redshift:CreateInboundIntegration",
            "Resource": "arn:aws:redshift:us-east-1:111122223333:namespace:uuid"
        }
    ]
}

    2. Der Benutzer, der für die Konfiguration des Amazon-Redshift-Ziel-Namespace verantwortlich ist, benötigt eine identitätsbasierte Richtlinie, die die folgenden Aktionen autorisiert: PutResourcePolicy, DeleteResourcePolicy und GetResourcePolicy.

      JSON
      {
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "redshift:PutResourcePolicy",
                "redshift:DeleteResourcePolicy",
                "redshift:GetResourcePolicy"
            ],
            "Resource": [
                "arn:aws:redshift:us-east-1:111122223333:cluster:cluster-name"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "redshift:DescribeInboundIntegrations"
            ],
            "Resource": [
                "arn:aws:redshift:us-east-1:111122223333:cluster:cluster-name"
            ]
        }
    ]
}
  5. Berechtigungen für Verschlüsselungsschlüssel

    Wenn die DynamoDB-Quelltabelle mit einem vom Kunden verwalteten AWS KMS -Schlüssel verschlüsselt ist, müssen Sie dem KMS-Schlüssel die folgende Richtlinie hinzufügen. Anhand dieser Richtlinie kann Amazon Redshift mit dem KMS-Schlüssel Daten aus der verschlüsselten Tabelle exportieren.

    {
    "Sid": "Statement to allow Amazon Redshift service to perform Decrypt operation on the source DynamoDB Table",
    "Effect": "Allow",
    "Principal": {
        "Service": [
            "redshift.amazonaws.com"
        ]
    },
    "Action": "kms:Decrypt",
    "Resource": "*",
    "Condition": {
        "StringEquals": {
            "aws:SourceAccount": "<account>"
        },
        "ArnEquals": {
            "aws:SourceArn": "arn:aws:redshift:<region>:<account>:integration:*"
        }
    }
}

Sie können auch die Schritte unter Erste Schritte mit Null-ETL-Integrationen im Amazon-Redshift-Verwaltungshandbuch ausführen, um die Berechtigungen für den Amazon-Redshift-Namespace zu konfigurieren.

Einschränkungen bei der Verwendung der Null-ETL-Integration von DynamoDB in Amazon Redshift

Die folgenden allgemeinen Einschränkungen gelten für die aktuelle Version dieser Integration. Diese Einschränkungen können sich in nachfolgenden Versionen ändern.

Anmerkung

Lesen Sie zusätzlich zu den unten aufgeführten Einschränkungen auch die allgemeinen Überlegungen zur Verwendung von Null-ETL-Integrationen. Weitere Informationen finden Sie unter Überlegungen bei der Verwendung von Null-ETL-Integrationen mit Amazon Redshift im Amazon-Redshift-Verwaltungshandbuch.

  • Die DynamoDB-Tabelle und der Amazon-Redshift-Cluster müssen sich in derselben Region befinden.

  • Die DynamoDB-Quelltabelle muss entweder mit einem Amazon-eigenen oder einem vom Kunden verwalteten Schlüssel verschlüsselt werden. AWS KMS Die von Amazon verwaltete Verschlüsselung wird für die DynamoDB-Quelltabelle nicht unterstützt.