Erfüllen der Compliance-Anforderungen durch eine Begrenzung der S3-Replikationszeit (S3 RTC)

Die Begrenzung der S3-Replikationszeit (S3 RTC) hilft Ihnen bei der Einhaltung von Compliance- oder Geschäftsanforderungen für die Datenreplikation und bietet Einblick in die Amazon-S3-Replikationsaktivitäten. S3 RTC repliziert die meisten Objekte, die Sie zu Amazon S3 hochladen, in Sekunden und 99,9 Prozent dieser Objekte innerhalb von 15 Minuten.

Standardmäßig bietet S3 RTC Ihnen zwei Möglichkeiten, den Fortschritt der Replikation zu verfolgen:

Bewährte Methoden und Richtlinien für S3 RTC

Befolgen Sie beim Replizieren von Daten in Amazon S3 mit aktivierter Begrenzung der S3-Replikationszeit (S3 RTC) diese bewährten Methoden, um die Replikationsleistung für Ihre Workloads zu optimieren.

Leistungsrichtlinien für Amazon-S3-Replikation and -Anforderungsraten

Wenn Speicherinhalte zu Amazon S3 hochgeladen oder von dort abgerufen werden, können Ihre Anwendungen Tausende von Transaktionen pro Sekunde bei der Anforderungsleistung erhalten. Beispielsweise kann eine Anwendung mindestens 3.500 PUT/COPY/POST/DELETE- oder 5.500 GET/HEAD-Anforderungen pro Sekunde pro Präfix in einem S3-Bucket erreichen, einschließlich der Anforderungen, die die S3-Replikation in Ihrem Namen vornimmt. Es gibt keine Einschränkungen für die Anzahl der Präfixe in einem Bucket. Sie können Ihre Lese- und Schreibleistung steigern, indem Sie Lesevorgänge parallelisieren. Wenn Sie beispielsweise 10 Präfixe in einem S3-Bucket für parallele Lesevorgänge einrichten, können Sie damit die Leseleistung auf 55 000 Leseanfragen pro Sekunde skalieren.

Amazon S3 skaliert automatisch als Reaktion auf anhaltende Anforderungsraten oberhalb dieser Richtlinien oder anhaltender Anforderungsraten übereinstimmend mit LIST-Anforderungen. Während Amazon S3 intern für die neue Anforderungsrate optimiert wird, erhalten Sie möglicherweise temporär HTTP 503-Anforderungsantworten, bis die Optimierung abgeschlossen ist. Dieses Verhalten kann mit steigenden Anforderungsraten pro Sekunde oder beim ersten Aktivieren von S3 RTC auftreten. Während dieser Zeiträume kann sich die Replikationslatenz erhöhen. Das S3 RTC Service Level Agreement (SLA) gilt nicht für Zeiträume, in denen Amazon-S3-Leistungsrichtlinien für Anforderungen pro Sekunde überschritten werden.

Das S3 RTC SLA gilt auch nicht für Zeiträume, in denen Ihre Replikationsdatenübertragungsrate das Standardlimit von 1 Gbit/s überschreitet. Wenn Sie erwarten, dass Ihre Replikations-Übertragungsrate 1 Gbit/s überschreitet, können Sie Ihr AWS Support-Center kontaktieren oder über Service Quotas eine Erhöhung Ihres Kontingents für die Replikationsübertragungsrate anfordern.

Schätzen der Replikationsanforderungsraten

Ihre Gesamtanforderungsrate einschließlich der Anforderungen, die die Amazon-S3-Replikation in Ihrem Namen vornimmt, muss den Richtlinien für die Amazon-S3-Anforderungsrate sowohl für die Quell- als auch für die Ziel-Buckets der Replikation entsprechen. Für jedes replizierte Objekt führt die Amazon-S3-Replikation bis zu fünf GET/HEAD-Anforderungen und eine PUT-Anforderung an den Quell-Bucket sowie eine PUT-Anforderung an jeden Ziel-Bucket aus.

Wenn Sie beispielsweise davon ausgehen, dass 100 Objekte pro Sekunde repliziert werden, kann die Amazon-S3-Replikation für Sie zusätzliche 100 PUT-Anforderungen für insgesamt 200 PUT-Anforderungen pro Sekunde an den Quell-S3-Bucket ausführen. Die Amazon-S3-Replikation kann außerdem bis zu 500 GET/HEAD-Anforderungen ausführen (5 GET/HEAD-Anforderungen für jedes replizierte Objekt).

Überschreiten der Kontingente für die S3-RTC-Datenübertragungsrate

Wenn Sie erwarten, dass die Datenübertragungsrate von S3 RTC das Standardkontingent von 1 Gbit/s überschreitet, wenden Sie sich an Ihr AWS Support-Center oder verwenden Sie Service Quotas, um eine Erhöhung Ihres Kontingents für die Datenübertragungsrate anzufordern.

AWS KMSReplikationsanforderungsraten für mit verschlüsselte Objekte

Wenn Sie Objekte replizieren, die serverseitig mit AWS Key Management Service(AWS KMS)-Schlüsseln (SSE-KMS) verschlüsselt sind, gelten Kontingente für die Anzahl der AWS KMS-Anforderungen pro Sekunde. AWS KMS lehnt möglicherweise eine ansonsten gültige Anforderung ab, da Ihre Anforderungsrate das Kontingent für die Anzahl der Anforderungen pro Sekunde überschreitet. Wird eine Anforderung abgelehnt, gibt AWS KMS einen Fehler des Typs ThrottlingException zurück. Das Kontingent für AWS KMS-Anforderungsraten gilt für Anforderungen, die Sie direkt ausführen, und für Anforderungen, die von Amazon S3 Replikation in Ihrem Auftrag durchgeführt werden.

Wenn Sie beispielsweise erwarten, 1.000 Objekte pro Sekunde zu replizieren, können Sie 2.000 Anforderungen von Ihrem Kontingent für AWS KMS-Anforderungsraten subtrahieren. Die resultierende Anforderungsrate pro Sekunde steht für Ihre AWS KMS-Workloads mit Ausnahme der Replikation zur Verfügung. Sie können AWS KMS-Anforderungsmetriken in Amazon CloudWatch verwenden, um die AWS KMS-Gesamtanforderungsrate in Ihrem AWS-Konto zu überwachen.

Um eine Erhöhung Ihres Kontingents für AWS KMS-Anforderungen pro Sekunde zu beantragen, wenden Sie sich an das AWS Support-Center oder nutzen Sie Service Quotas.

Aktivieren der Begrenzung der S3-Replikationszeit (S3 RTC)

Sie können die Begrenzung der S3-Replikationszeit (S3 RTC) mit einer neuen oder einer vorhandenen Replikationsregel verwenden. Sie können die Replikationsregel auf einen gesamten S3-Bucket oder auf Objekte mit einem bestimmten Präfix oder Tag anwenden. Wenn Sie S3 RTC aktivieren, werden S3-Replikationsmetriken auch für Ihre Replikationsregel aktiviert.

Sie können S3 RTC auch mithilfe der Amazon-S3-Konsole, der Amazon-S3-API, der AWS-SDKs und der AWS Command Line Interface (AWS CLI) konfigurieren.

{
    "Rules": [
        {
            "Status": "Enabled",
            "Filter": {
                "Prefix": "Tax"
            },
            "DeleteMarkerReplication": {
                "Status": "Disabled"
            },
            "Destination": {
                "Bucket": "arn:aws:s3:::amzn-s3-demo-destination-bucket",
                "Metrics": {
                    "Status": "Enabled",
                    "EventThreshold": {
                        "Minutes": 15
                    }
                },
                "ReplicationTime": {
                    "Status": "Enabled",
                    "Time": {
                        "Minutes": 15
                    }
                }
            },
            "Priority": 1
        }
    ],
    "Role": "IAM-Role-ARN"
}

import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.model.DeleteMarkerReplication;
import software.amazon.awssdk.services.s3.model.Destination;
import software.amazon.awssdk.services.s3.model.Metrics;
import software.amazon.awssdk.services.s3.model.MetricsStatus;
import software.amazon.awssdk.services.s3.model.PutBucketReplicationRequest;
import software.amazon.awssdk.services.s3.model.ReplicationConfiguration;
import software.amazon.awssdk.services.s3.model.ReplicationRule;
import software.amazon.awssdk.services.s3.model.ReplicationRuleFilter;
import software.amazon.awssdk.services.s3.model.ReplicationTime;
import software.amazon.awssdk.services.s3.model.ReplicationTimeStatus;
import software.amazon.awssdk.services.s3.model.ReplicationTimeValue;

public class Main {

  public static void main(String[] args) {
    S3Client s3 = S3Client.builder()
      .region(Region.US_EAST_1)
      .credentialsProvider(() -> AwsBasicCredentials.create(
          "AWS_ACCESS_KEY_ID",
          "AWS_SECRET_ACCESS_KEY")
      )
      .build();

    ReplicationConfiguration replicationConfig = ReplicationConfiguration
      .builder()
      .rules(
          ReplicationRule
            .builder()
            .status("Enabled")
            .priority(1)
            .deleteMarkerReplication(
                DeleteMarkerReplication
                    .builder()
                    .status("Disabled")
                    .build()
            )
            .destination(
                Destination
                    .builder()
                    .bucket("destination_bucket_arn")
                    .replicationTime(
                        ReplicationTime.builder().time(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            ReplicationTimeStatus.ENABLED
                        ).build()
                    )
                    .metrics(
                        Metrics.builder().eventThreshold(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            MetricsStatus.ENABLED
                        ).build()
                    )
                    .build()
            )
            .filter(
                ReplicationRuleFilter
                    .builder()
                    .prefix("testtest")
                    .build()
            )
        .build())
        .role("role_arn")
        .build();

    // Put replication configuration
    PutBucketReplicationRequest putBucketReplicationRequest = PutBucketReplicationRequest
      .builder()
      .bucket("source_bucket")
      .replicationConfiguration(replicationConfig)
      .build();

    s3.putBucketReplication(putBucketReplicationRequest);
  }
}