Soddisfazione dei requisiti di conformità con il controllo del tempo di replica di Amazon S3

Amazon S3 Replication Time Control (S3 RTC) permette di soddisfare i requisiti aziendali o di conformità per la replica dei dati fornendo visibilità sui tempi di replica di Amazon S3. S3 RTC replica la maggior parte degli oggetti caricati in Amazon S3 in pochi secondi e il 99,9% di tali oggetti entro 15 minuti.

Per impostazione predefinita, S3 RTC include due modi per monitorare l'avanzamento della replica:

Best practice e linee guida per S3 RTC

Per la replica dei dati in Amazon S3 con controllo del tempo di replica di S3 (S3 RTC) abilitato, attenersi alle seguenti linee guida di best practice per ottimizzare le prestazioni di replica dei carichi di lavoro.

Linee guida sulle prestazioni per la frequenza di richieste e la replica di Amazon S3

Le applicazioni possono raggiungere migliaia di transazioni al secondo nelle prestazioni di richiesta durante il caricamento e il recupero di storage da Amazon S3. Ad esempio, un'applicazione può raggiungere almeno 3.500 richieste PUT/COPY/POST/DELETE o 5.500 richieste GET/HEAD al secondo per prefisso in un bucket S3, incluse le richieste che Replica Amazon S3 effettua per conto dell'utente. Non esistono limiti al numero di prefissi in un bucket. È possibile aumentare le proprie performance in lettura o scrittura parallelizzando le scritture. Ad esempio, se si creano 10 prefissi in un bucket S3 per parallelizzare le letture, è possibile scalare le prestazioni di lettura a 55.000 richieste di lettura al secondo.

Amazon S3 riduce orizzontalmente le risorse in modo automatico in risposta a frequenze di richieste sostenute oltre queste linee guida o a frequenze di richieste sostenute in contemporanea a richieste LIST. Mentre Amazon S3 si ottimizza internamente per la nuova frequenza di richieste, potresti ricevere temporaneamente risposte HTTP 503 fino al completamento dell'ottimizzazione. Questo comportamento potrebbe verificarsi con gli aumenti delle frequenze di richiesta al secondo o quando si abilita per la prima volta S3 RTC. Durante questi periodi, la latenza di replica potrebbe aumentare. Il contratto sul livello di servizio (SLA) di S3 RTC non si applica ai periodi di tempo in cui vengono superate le linee guida sulle prestazioni di Amazon S3 per le richieste al secondo.

Lo SLA di S3 RTC non si applica neanche ai periodi di tempo in cui la velocità di trasferimento dati di replica supera il limite predefinito di 1 Gbps. Se si prevede che la velocità di trasferimento della replica superi 1 Gbps, è possibile contattare il Centro Supporto AWS o utilizzare Service Quotas per richiedere un aumento della quota della velocità di trasferimento della replica.

Stima delle frequenze di richieste di replica

La frequenza di richieste totale, incluse le richieste effettuate da Replica Amazon S3 per conto dell'utente, deve rientrare nelle linee guida sulla frequenza di richieste di Amazon S3 per i bucket di origine e di destinazione della replica. Per ogni oggetto replicato, Replica Amazon S3 esegue fino a cinque richieste GET/HEAD e una richiesta PUT al bucket di origine e una richiesta PUT a ciascun bucket di destinazione.

Ad esempio, se si prevede di replicare 100 oggetti al secondo, Replica Amazon S3 può eseguire 100 richieste PUT aggiuntive per conto dell'utente per un totale di 200 richieste PUT al secondo nel bucket S3 di origine. Replica Amazon S3 può anche eseguire fino a 500 richieste GET/HEAD (5 richieste GET/HEAD per ogni oggetto replicato).

Superamento delle quote di velocità di trasferimento dati di S3 RTC

Se si prevede che la velocità di trasferimento dati di S3 RTC superi la quota predefinita di 1 Gbps, contattare il Centro Supporto AWS o utilizzare Service Quotas per richiedere un aumento della quota.

AWS KMSFrequenze di richieste di replica di oggetti crittografati

Quando si replicano gli oggetti crittografati con crittografia lato server mediante chiavi AWS Key Management Service (AWS KMS) (SSE-KMS), si applicano le quote di richieste al secondo di AWS KMS. AWS KMS potrebbe rifiutare una richiesta altrimenti valida perché la frequenza di richieste supera la quota del numero di richieste al secondo. Quando una richiesta è soggetta a limitazione, AWS KMS restituisce un errore di ThrottlingException. La quota di frequenza delle richieste di AWS KMS si applica alle richieste effettuate direttamente dall'utente e alle richieste effettuate da Replica Amazon S3 per conto dell'utente.

Ad esempio, se si prevede di replicare 1.000 oggetti al secondo, è possibile sottrarre 2.000 richieste dalla quota della frequenza delle richieste di AWS KMS. La frequenza di richieste al secondo risultante è disponibile per i carichi di lavoro AWS KMS esclusa la replica. Puoi utilizzare i parametri di richiesta AWS KMS in Amazon CloudWatch per monitorare la frequenza totale delle richieste AWS KMS per il tuo Account AWS.

Per richiedere un aumento delle richieste di quote al secondo di AWS KMS, contattare il Centro di Supporto AWS o utilizzare Service Quotas.

Abilitazione di S3 Replication Time Control

Puoi iniziare a utilizzare S3 Replication Time Control (S3 RTC) con una regola di replica nuova o esistente. È possibile scegliere di applicare la regola di replica a un intero bucket o a oggetti con un prefisso o un tag specifico. Quando si attiva S3 RTC, i parametri di Replica S3 vengono abilitati anche nella regola di replica.

S3 RTC può essere configurato utilizzando la console Amazon S3, l'API Amazon S3, gli SDK AWS e l'AWS Command Line Interface (AWS CLI).

{
    "Rules": [
        {
            "Status": "Enabled",
            "Filter": {
                "Prefix": "Tax"
            },
            "DeleteMarkerReplication": {
                "Status": "Disabled"
            },
            "Destination": {
                "Bucket": "arn:aws:s3:::amzn-s3-demo-destination-bucket",
                "Metrics": {
                    "Status": "Enabled",
                    "EventThreshold": {
                        "Minutes": 15
                    }
                },
                "ReplicationTime": {
                    "Status": "Enabled",
                    "Time": {
                        "Minutes": 15
                    }
                }
            },
            "Priority": 1
        }
    ],
    "Role": "IAM-Role-ARN"
}

import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.model.DeleteMarkerReplication;
import software.amazon.awssdk.services.s3.model.Destination;
import software.amazon.awssdk.services.s3.model.Metrics;
import software.amazon.awssdk.services.s3.model.MetricsStatus;
import software.amazon.awssdk.services.s3.model.PutBucketReplicationRequest;
import software.amazon.awssdk.services.s3.model.ReplicationConfiguration;
import software.amazon.awssdk.services.s3.model.ReplicationRule;
import software.amazon.awssdk.services.s3.model.ReplicationRuleFilter;
import software.amazon.awssdk.services.s3.model.ReplicationTime;
import software.amazon.awssdk.services.s3.model.ReplicationTimeStatus;
import software.amazon.awssdk.services.s3.model.ReplicationTimeValue;

public class Main {

  public static void main(String[] args) {
    S3Client s3 = S3Client.builder()
      .region(Region.US_EAST_1)
      .credentialsProvider(() -> AwsBasicCredentials.create(
          "AWS_ACCESS_KEY_ID",
          "AWS_SECRET_ACCESS_KEY")
      )
      .build();

    ReplicationConfiguration replicationConfig = ReplicationConfiguration
      .builder()
      .rules(
          ReplicationRule
            .builder()
            .status("Enabled")
            .priority(1)
            .deleteMarkerReplication(
                DeleteMarkerReplication
                    .builder()
                    .status("Disabled")
                    .build()
            )
            .destination(
                Destination
                    .builder()
                    .bucket("destination_bucket_arn")
                    .replicationTime(
                        ReplicationTime.builder().time(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            ReplicationTimeStatus.ENABLED
                        ).build()
                    )
                    .metrics(
                        Metrics.builder().eventThreshold(
                            ReplicationTimeValue.builder().minutes(15).build()
                        ).status(
                            MetricsStatus.ENABLED
                        ).build()
                    )
                    .build()
            )
            .filter(
                ReplicationRuleFilter
                    .builder()
                    .prefix("testtest")
                    .build()
            )
        .build())
        .role("role_arn")
        .build();

    // Put replication configuration
    PutBucketReplicationRequest putBucketReplicationRequest = PutBucketReplicationRequest
      .builder()
      .bucket("source_bucket")
      .replicationConfiguration(replicationConfig)
      .build();

    s3.putBucketReplication(putBucketReplicationRequest);
  }
}