Risoluzione dei problemi relativi alle operazioni Batch di S3 - Amazon Simple Storage Service
NoSuchJobExceptionInvalidManifestContent

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Risoluzione dei problemi relativi alle operazioni Batch di S3

Amazon S3 Batch Operations consente di eseguire operazioni su larga scala su oggetti Amazon S3. Questa guida ti aiuta a risolvere i problemi più comuni che potresti riscontrare.

Per risolvere i problemi con S3 Batch Replication, consulta Risoluzione dei problemi nella replica.

Esistono due tipi principali di errori che provocano errori nelle operazioni Batch:

  1. Errore dell'API: l'API richiesta (ad esempioCreateJob) non è stata eseguita.

  2. Job Failure: la richiesta API iniziale è riuscita ma il processo non è riuscito, ad esempio, a causa di problemi con il manifesto o le autorizzazioni per gli oggetti specificati nel manifest.

NoSuchJobException

Tipo: errore dell'API

NoSuchJobExceptionSi verifica quando S3 Batch Operations non è in grado di individuare il lavoro specificato. Questo errore può verificarsi in diversi scenari oltre la semplice scadenza del lavoro. Le cause più comuni sono le seguenti.

  1. Scadenza del lavoro: i lavori vengono eliminati automaticamente 90 giorni dopo aver raggiunto lo stato terminale (CompleteCancelled,, oFailed).

  2. ID del lavoro errato: l'ID del lavoro utilizzato DescribeJob o UpdateJobStatus non corrisponde all'ID restituito daCreateJob.

  3. Regione errata: tentativo di accedere a un lavoro in un'area diversa da quella in cui è stato creato.

  4. Account errato: utilizzo di un Job ID di un AWS account diverso.

  5. Errori di formato del Job ID: errori di battitura, caratteri aggiuntivi o formattazione errata nell'ID del lavoro.

  6. Problemi relativi alla tempistica: verifica dello stato del lavoro subito dopo la creazione, prima che il lavoro sia completamente registrato.

I messaggi di errore correlati includono quanto segue.

  1. No such job

  2. The specified job does not exist

Le migliori pratiche per prevenire i guasti NoSuchJobException delle API

  1. Memorizza IDs immediatamente il lavoro: salva l'ID del lavoro dalla CreateJob risposta prima di effettuare chiamate API successive.

  2. Implementa la logica dei tentativi: aggiungi un backoff esponenziale quando controlli lo stato del lavoro subito dopo la creazione.

  3. Configura il monitoraggio: crea CloudWatch allarmi per monitorare il completamento del lavoro prima della scadenza dei 90 giorni. Per i dettagli, consulta la sezione Uso degli CloudWatch allarmi nella Amazon CloudWatch User Guide.

  4. Utilizza regioni coerenti: assicurati che tutte le attività di lavoro utilizzino la stessa regione per la creazione di posti di lavoro.

  5. Convalida l'input: controlla il formato dell'ID del lavoro prima di effettuare chiamate API.

Quando scadono i lavori

I lavori negli stati terminali vengono eliminati automaticamente dopo 90 giorni. Per evitare di perdere informazioni sul lavoro, considera quanto segue.

  1. Scarica i report di completamento prima della scadenza: per istruzioni su come recuperare e archiviare i risultati dei lavori, consulta.

  2. Archivia i metadati dei lavori nei tuoi sistemi: archivia le informazioni critiche sul lavoro nei database o nei sistemi di monitoraggio.

  3. Imposta notifiche automatiche prima della scadenza di 90 giorni: utilizza Amazon EventBridge per creare regole che attivano le notifiche al completamento dei lavori. Per ulteriori informazioni, consulta Notifiche di eventi Amazon S3.

Risoluzione dei problemi di NoSuchJobException

  1. Utilizza il comando seguente per verificare l'esistenza del lavoro nel tuo account e nella tua regione.

    
aws s3control list-jobs --account-id 111122223333 --region us-east-1

  2. Usa il seguente comando per cercare in tutti gli stati delle offerte di lavoro. I possibili stati di lavoro includonoActive,Cancelled,,Cancelling,Complete,Completing,Failed,Failing,, New PausedPausing, Preparing e. Ready Suspended

    
aws s3control list-jobs --account-id 111122223333 --job-statuses your-job-status

  3. Utilizzate il comando seguente per verificare se il lavoro esiste in altre regioni in cui di solito create lavori.

    
aws s3control list-jobs --account-id 111122223333 --region job-region-1 aws s3control list-jobs --account-id 111122223333 --region job-region-2

  4. Convalida il formato dell'ID del lavoro. Job IDs in genere contiene 36 caratteri, ad esempio12345678-1234-1234-1234-123456789012. Verifica la presenza di spazi aggiuntivi, caratteri mancanti o problemi di distinzione tra maiuscole e minuscole e verifica di utilizzare l'ID del lavoro completo restituito dal CreateJob comando.

  5. Usa il comando seguente per controllare i CloudTrail log per verificare gli eventi di creazione di posti di lavoro.

    
    aws logs filter-log-events --log-group-name CloudTrail/S3BatchOperations \ --filter-pattern "{ $.eventName = CreateJob }" \ --start-time timestamp

AccessDeniedException

Tipo: errore dell'API

AccessDeniedExceptionSi verifica quando una richiesta di S3 Batch Operations viene bloccata a causa di autorizzazioni insufficienti, operazioni non supportate o restrizioni delle policy. Questo è uno degli errori più comuni nelle Operazioni Batch. Ha le seguenti cause comuni:

  1. Autorizzazioni IAM mancanti: l'identità IAM non dispone delle autorizzazioni necessarie per le operazioni Batch. APIs

  2. Autorizzazioni S3 insufficienti: autorizzazioni mancanti per accedere a bucket e oggetti di origine o destinazione.

  3. Problemi relativi al ruolo di esecuzione del lavoro: il ruolo di esecuzione del lavoro non dispone delle autorizzazioni per eseguire l'operazione specificata.

  4. Operazioni non supportate: tentativo di utilizzare operazioni non supportate nella regione o nel tipo di bucket correnti.

  5. Problemi di accesso tra account: autorizzazioni mancanti per l'accesso a bucket o oggetti tra account diversi.

  6. Restrizioni delle policy basate sulle risorse: policy Bucket o oggetti che bloccano l'operazione. ACLs

  7. Restrizioni della Service Control Policy (SCP): politiche a livello di organizzazione che ne impediscono l'operazione.

Messaggi di errore correlati:

  1. Access Denied

  2. User: arn:aws:iam::account:user/username is not authorized to perform: s3:operation

  3. Cross-account pass role is not allowed

  4. The bucket policy does not allow the specified operation

Le migliori pratiche per prevenire i guasti AccessDeniedException delle API

  1. Utilizza il principio del privilegio minimo: concedi solo le autorizzazioni minime richieste per le tue operazioni specifiche.

  2. Verifica le autorizzazioni prima di eseguire lavori di grandi dimensioni: esegui piccoli processi di test per convalidare le autorizzazioni prima di elaborare migliaia di oggetti.

  3. Usa il simulatore di policy IAM: testa le policy prima della distribuzione utilizzando il simulatore di policy IAM. Per ulteriori informazioni, consulta IAM Policy testing with the IAM Policy Simulator nella IAM User Guide.

  4. Implementa una corretta configurazione tra account: controlla la configurazione di accesso tra account per le configurazioni di lavoro tra account diversi. Per ulteriori informazioni, consulta il tutorial IAM: Delega l'accesso tra AWS account utilizzando i ruoli IAM nella IAM User Guide.

  5. Monitora le modifiche alle autorizzazioni: imposta CloudTrail avvisi per le modifiche alle policy IAM che potrebbero influire sulle operazioni Batch.

  6. Documenta i requisiti dei ruoli: mantieni una documentazione chiara delle autorizzazioni richieste per ogni tipo di lavoro.

  7. Utilizza modelli di autorizzazione comuni: utilizza gli esempi di autorizzazione e i modelli di policy:

    1. Concessione di autorizzazioni per le operazioni in batch

    2. Risorse multiaccount in IAM nella IAM User Guide.

    3. Controlla l'accesso agli endpoint VPC utilizzando le policy degli endpoint nella Guida. AWS PrivateLink

AccessDeniedException risoluzione dei problemi

Segui sistematicamente questi passaggi per identificare e risolvere i problemi di autorizzazione.

  1. Verifica le operazioni supportate Operazioni supportate dalle operazioni in batch S3 per regione. Le operazioni di conferma del directory bucket sono disponibili solo negli endpoint regionali e zonali. Verifica che l'operazione sia supportata per la classe di archiviazione del tuo bucket.

  2. Usa il comando seguente per determinare se puoi elencare i lavori.

    
 aws s3control list-jobs --account-id 111122223333

  3. Usa il comando seguente per verificare le autorizzazioni IAM per l'identità richiedente. L'account che esegue il job richiede le seguenti autorizzazioni:s3:CreateJob,,,s3:DescribeJob. s3:ListJobs-s3:UpdateJobPriority s3:UpdateJobStatus-iam:PassRole

    
aws sts get-caller-identity 111122223333

  4. Utilizzate il comando seguente per verificare se il ruolo esiste ed è ipotizzabile.

    
aws iam get-role --role-name role-name

  5. Utilizzate il comando seguente per rivedere la politica di fiducia del ruolo. Il ruolo che esegue il job deve avere le seguenti caratteristiche:

    1. Un rapporto di fiducia che batchoperations.s3.amazonaws.com consenta di assumere il ruolo.

    2. Le operazioni eseguite dall'operazione batch (ad esempio s3:PutObjectTagging per le operazioni di etichettatura).

    3. Accesso ai bucket di origine e destinazione.

    4. Autorizzazione a leggere il file manifesto.

    5. Autorizzazione a scrivere rapporti di completamento.

    
aws iam get-role --role-name role-name --query 'Role.AssumeRolePolicyDocument'

  6. Utilizzate il comando seguente per ripristinare l'accesso ai bucket manifest e source.

    
aws s3 ls s3://bucket-name

  7. Verificate l'operazione eseguita dall'operazione batch. Ad esempio, se l'operazione batch esegue l'etichettatura, tagga un oggetto campione nel bucket di origine.

  8. Esamina le politiche dei bucket per individuare le politiche che potrebbero negare l'operazione.

    1. Controlla l'oggetto ACLs se lavori con i controlli di accesso precedenti.

    2. Verifica che nessuna policy di controllo del servizio (SCPs) stia bloccando l'operazione.

    3. Le policy degli endpoint VPC di Conferma consentono le operazioni in Batch se si utilizzano endpoint VPC.

  9. Utilizza il seguente comando da utilizzare per identificare gli errori CloudTrail di autorizzazione.

    
aws logs filter-log-events --log-group-name CloudTrail/S3BatchOperations \
    --filter-pattern "{ $.errorCode = AccessDenied }" \
    --start-time timestamp

SlowDownError

Tipo: errore dell'API

L'SlowDownErroreccezione si verifica quando il tuo account ha superato il limite di frequenza delle richieste per S3 Batch Operations. APIs Si tratta di un meccanismo di limitazione per proteggere il servizio dal sovraccarico di troppe richieste. Ha le seguenti cause comuni:

  1. Elevata frequenza di richiesta API: troppe chiamate API in un breve periodo di tempo.

  2. Operazioni lavorative simultanee: attività di più applicazioni o utenti creating/managing contemporaneamente.

  3. Script automatizzati senza limiti di velocità: script che non implementano strategie di backoff adeguate.

  4. Sondaggi troppo frequenti sullo stato del lavoro: verifica lo stato del lavoro più spesso del necessario.

  5. Schemi di traffico accelerati: picchi improvvisi nell'utilizzo delle API durante i periodi di elaborazione di punta.

  6. Limiti di capacità regionali: superamento della capacità di richiesta allocata per la propria regione.

Messaggi di errore correlati:

  1. SlowDown

  2. Please reduce your request rate

  3. Request rate exceeded

Le migliori pratiche per prevenire i guasti SlowDownError delle API

  1. Implementa la limitazione della velocità sul lato client: aggiungi ritardi tra le chiamate API nelle tue applicazioni.

  2. Utilizza il backoff esponenziale con jitter: rendi casuali i ritardi tra i tentativi per evitare problemi di gregge.

  3. Imposta una logica di riprova adeguata: implementa nuovi tentativi automatici con ritardi crescenti per errori transitori.

  4. Utilizza architetture basate sugli eventi: sostituisci i sondaggi con notifiche per le modifiche allo stato dei lavori. EventBridge

  5. Distribuisci il carico nel tempo: organizza la creazione di posti di lavoro e i controlli dello stato in diversi periodi di tempo.

  6. Monitora e avvisa sui limiti di velocità: configura CloudWatch allarmi per rilevare quando ti stai avvicinando ai limiti.

La maggior parte AWS SDKs include una logica di ripetizione dei tentativi integrata per gli errori di limitazione della velocità. Configurali come segue:

  1. AWS CLI— Uso cli-read-timeout e cli-connect-timeout parametri.

  2. AWS SDK for Python (Boto3): configura le modalità di riprova e il numero massimo di tentativi nella configurazione del client.

  3. AWS SDK for Java: RetryPolicy utilizzo ClientConfiguration e impostazioni.

  4. AWS SDK per JavaScript: configura maxRetries e. retryDelayOptions

Per ulteriori informazioni sui modelli di ripetizione dei tentativi e sulle migliori pratiche, consulta Riprova con schema di backup nella guida Prescriptive Guidance. AWS

SlowDownError risoluzione dei problemi

  1. Nel tuo codice, implementa immediatamente il backoff esponenziale.

    Esempio del backoff esponenziale in bash
    
for attempt in {1..5}; do
    if aws s3control describe-job --account-id 111122223333 --job-id job-id; then 
        break
    else 
        wait_time=$((2**attempt)) echo "Rate limited, waiting ${wait_time} seconds..." sleep $wait_time
        fi
done

  2. Utilizzato CloudTrail per identificare la fonte dell'elevato volume di richieste.

    
aws logs filter-log-events \
    --log-group-name CloudTrail/S3BatchOperations \
    --filter-pattern "{ $.eventName = CreateJob || $.eventName = DescribeJob }" \
    --start-time timestamp \
    --query 'events[*].[eventTime,sourceIPAddress,userIdentity.type,eventName]'

  3. Controlla la frequenza dei sondaggi.

    1. Evita di controllare lo stato dei lavori più di una volta ogni 30 secondi per i lavori attivi.

    2. Se possibile, utilizza le notifiche di completamento dei lavori anziché i sondaggi.

    3. Implementa il jitter negli intervalli di polling per evitare richieste sincronizzate.

  4. Ottimizza i modelli di utilizzo delle API.

    1. Batch più operazioni quando possibile.

    2. Utilizzalo ListJobs per visualizzare lo stato di più lavori in una sola chiamata.

    3. Memorizza nella cache le informazioni sui lavori per ridurre le chiamate API ridondanti.

    4. Diffondi la creazione di posti di lavoro nel tempo anziché crearne molti contemporaneamente.

  5. Utilizza le CloudWatch metriche per le chiamate API per monitorare i modelli di richiesta.

    
   aws logs put-metric-filter \
       --log-group-name CloudTrail/S3BatchOperations \
       --filter-name S3BatchOpsAPICallCount \      
       --filter-pattern "{ $.eventSource = s3.amazonaws.com && $.eventName = CreateJob }" \
       --metric-transformations \        
       metricName=S3BatchOpsAPICalls,metricNamespace=Custom/S3BatchOps,metricValue=1

InvalidManifestContent

Tipo: Job failure

L'InvalidManifestContenteccezione si verifica quando ci sono problemi con il formato, il contenuto o la struttura del file manifesto che impediscono a S3 Batch Operations di elaborare il lavoro. Ha le seguenti cause comuni:

  1. Violazioni del formato: colonne obbligatorie mancanti, delimitatori errati o struttura CSV non valida.

  2. Problemi di codifica del contenuto: codifica errata dei caratteri, marcatori BOM o caratteri non UTF-8.

  3. Problemi con le chiavi dell'oggetto: caratteri non validi, codifica URL non corretta o chiavi che superano i limiti di lunghezza.

  4. Limiti relativi alle dimensioni: il manifesto contiene più oggetti di quelli supportati dall'operazione.

  5. Errori di formato dell'ID di versione: versione non valida o non valida IDs per gli oggetti con versione.

  6. ETag problemi di formato: ETag formato errato o virgolette mancanti per le operazioni che richiedono. ETags

  7. Dati non coerenti: formati misti all'interno dello stesso manifesto o conteggi di colonne non coerenti.

Messaggi di errore correlati:

  1. Required fields are missing in the schema: + missingFields

  2. Invalid Manifest Content

  3. The S3 Batch Operations job failed because it contains more keys than the maximum allowed in a single job

  4. Invalid object key format

  5. Manifest file is not properly formatted

  6. Invalid version ID format

  7. ETag format is invalid

Le migliori pratiche per prevenire gli insuccessi InvalidManifestContent sul lavoro

  1. Convalida prima del caricamento: verifica il formato del manifesto con piccoli lavori prima di elaborare set di dati di grandi dimensioni.

  2. Usa una codifica coerente: utilizza sempre la codifica UTF-8 senza BOM per i file manifest.

  3. Implementa gli standard di generazione dei manifesti: crea modelli e procedure di convalida per la creazione di manifesti.

  4. Gestisci correttamente i caratteri speciali: gli URL codificano le chiavi degli oggetti che contengono caratteri speciali.

  5. Monitora il numero di oggetti: monitora le dimensioni del manifesto e suddividi i lavori di grandi dimensioni in modo proattivo.

  6. Convalida l'esistenza degli oggetti: verifica l'esistenza degli oggetti prima di includerli nei manifesti.

  7. Utilizzate AWS strumenti per la generazione di manifesti: sfruttateli AWS CLI s3api list-objects-v2 per generare elenchi di oggetti formattati correttamente.

Problemi e soluzioni comuni relativi ai manifesti:

  1. Colonne obbligatorie mancanti: assicurati che il manifesto includa tutte le colonne obbligatorie per il tipo di operazione. Le colonne mancanti più comuni sono Bucket e Key.

  2. Formato CSV errato: utilizza delimitatori di virgole, assicura un conteggio uniforme delle colonne su tutte le righe ed evita interruzioni di riga incorporate nei campi.

  3. Caratteri speciali nelle chiavi degli oggetti: gli URL codificano le chiavi degli oggetti che contengono spazi, caratteri Unicode o caratteri speciali XML (<, >, &, «, ').

  4. File manifest di grandi dimensioni: suddividi i manifesti con più del limite di operazioni in più manifesti più piccoli e crea processi separati.

  5. Versione non valida IDs: assicurati che la versione contenga stringhe alfanumeriche IDs formattate correttamente. Rimuovi la colonna dell'ID della versione se non necessaria.

  6. Problemi di codifica: salva i file manifest come UTF-8 senza BOM. Evita di copiare i manifesti attraverso sistemi che potrebbero alterare la codifica.

Per le specifiche dettagliate e gli esempi relativi al formato del manifesto, consultate quanto segue:

  1. Specifica di un manifest

  2. Operazioni supportate dalle operazioni in batch S3

  3. Denominazione di oggetti Amazon S3

InvalidManifestContent risoluzione dei problemi

  1. scarica e ispeziona il file manifesto. Verifica manualmente che il manifesto soddisfi i requisiti di formato:

    1. Formato CSV con delimitatori di virgole.

    2. Codifica UTF-8 senza BOM.

    3. Numero costante di colonne su tutte le righe.

    4. Nessuna riga vuota o spazio finale.

    5. Le chiavi degli oggetti sono codificate correttamente nell'URL se contengono caratteri speciali.

    Utilizzate il seguente comando per scaricare il file manifest.

    
aws s3 cp s3://amzn-s3-demo-bucket1/manifest-key ./manifest.csv

  2. Controllate le colonne richieste per la vostra operazione:

    1. Tutte le operazioni:Bucket, Key

    2. Operazioni di copia: VersionId (opzionale)

    3. Operazioni di ripristino: VersionId (opzionale)

    4. Operazioni di sostituzione dei tag: non sono necessarie colonne aggiuntive.

    5. Operazioni di sostituzione dell'ACL: non sono necessarie colonne aggiuntive.

    6. Avvia ripristino: VersionId (opzionale)

  3. Controlla i limiti del numero di oggetti:

    1. Copia: massimo 1 miliardo di oggetti.

    2. Elimina: massimo 1 miliardo di oggetti.

    3. Ripristino: massimo 1 miliardo di oggetti.

    4. Etichettatura: massimo 1 miliardo di oggetti.

    5. ACL: massimo 1 miliardo di oggetti.

  4. Crea un manifesto di prova con alcuni oggetti del tuo manifesto originale.

  5. Utilizzate il seguente comando per verificare se esiste un campione di oggetti del manifesto.

    
aws s3 ls s3://amzn-s3-demo-bucket1/object-key

  6. Controllate i dettagli del fallimento del lavoro e verificate il motivo dell'errore ed eventuali dettagli specifici dell'errore nella descrizione del lavoro.

    
aws s3control describe-job --account-id 111122223333 --job-id job-id