Creazione di configurazioni delle tabelle di metadati - Amazon Simple Storage Service

Creazione di configurazioni delle tabelle di metadati

Per generare e archiviare i metadati Amazon S3 in una tabella dei metadati Apache Iceberg completamente gestita, si crea una configurazione della tabella dei metadati per il bucket per uso generico. Amazon S3 è progettato per aggiornare continuamente la tabella dei metadati e riflettere le ultime modifiche ai dati, purché la configurazione sia attiva nel bucket. Inoltre, Amazon S3 ottimizza continuamente le tabelle di metadati per ridurre i costi di archiviazione e migliorare le prestazioni delle query di analisi.

Per ogni bucket per uso generico, è possibile creare una configurazione di tabella dei metadati che contiene due tabelle di metadati complementari:

  • Tabella del diario: per impostazione predefinita, la configurazione della tabella dei metadati contiene una tabella del diario, che acquisisce gli eventi che si verificano per gli oggetti nel bucket. La tabella del diario registra le modifiche apportate ai dati pressoché in tempo reale, aiutando a individuare i nuovi dati caricati nel bucket, a tenere traccia degli oggetti eliminati di recente, a monitorare le transizioni del ciclo di vita e altro ancora. La tabella del diario registra i nuovi oggetti e gli aggiornamenti degli oggetti e dei relativi metadati (gli aggiornamenti che richiedono un’operazione PUT o un’operazione DELETE).

    La tabella del diario acquisisce i metadati solo per gli eventi di modifica (come caricamenti, aggiornamenti ed eliminazioni) che si verificano dopo la creazione della configurazione della tabella dei metadati. Poiché questa tabella è sottoponibile a query, è possibile controllare le modifiche al bucket tramite semplici query SQL.

    La tabella del diario è obbligatoria per ogni configurazione della tabella dei metadati. Nella versione iniziale di S3 Metadata, la tabella del diario era denominata “tabella dei metadati”.

    Per ulteriori informazioni sui dati archiviati nelle tabelle del diario, consulta Schema delle tabelle del diario di S3 Metadata.

    Per ridurre al minimo i costi di archiviazione, è possibile scegliere la scadenza dei record della tabella del diario. Per ulteriori informazioni, consulta Scadenza dei record della tabella del diario.

  • Tabella di inventario in tempo reale: facoltativamente, è possibile aggiungere una tabella di inventario in tempo reale alla configurazione della tabella dei metadati. La tabella di inventario in tempo reale fornisce un inventario semplice e sottoponibile a query di tutti gli oggetti e delle relative versioni presenti nel bucket in modo da poter determinare lo stato più recente dei dati.

    È possibile utilizzare la tabella di inventario in tempo reale per semplificare e velocizzare i flussi di lavoro aziendali e i processi relativi ai big data individuando gli oggetti che si desidera elaborare per vari carichi di lavoro. Ad esempio, è possibile eseguire una query sulla tabella di inventario in tempo reale per trovare tutti gli oggetti archiviati in una particolare classe di archiviazione, tutti gli oggetti con determinati tag, tutti gli oggetti che non sono crittografati con la crittografia lato server utilizzando le chiavi AWS Key Management Service (AWS KMS) (SSE-KMS) e altro ancora.

    Se si abilita la tabella di inventario in tempo reale per la configurazione della tabella dei metadati, la tabella viene sottoposta a un processo noto come riempimento, durante il quale Amazon S3 analizza il bucket per uso generico per recuperare i metadati iniziali per tutti gli oggetti presenti nel bucket. A seconda del numero di oggetti nel bucket, questo processo può richiedere da minuti (minimo 15 minuti) a ore. Al termine del processo di riempimento, lo stato della tabella di inventario in tempo reale passa da Riempimento in corso ad Attivo. Una volta completato il riempimento, gli aggiornamenti degli oggetti si riflettono in genere nella tabella di inventario in tempo reale entro un’ora.

    Il riempimento della tabella di inventario in tempo reale viene addebitato. Se il bucket per uso generico contiene più di un miliardo di oggetti, verrà addebitata anche una tariffa mensile per la tabella di inventario in tempo reale. Per ulteriori informazioni, consulta Prezzi di Amazon S3.

    Per ulteriori informazioni sui dati memorizzati nelle tabelle di inventario in tempo reale, consulta Schema delle tabelle di inventario in tempo reale di S3 Metadata.

Le tabelle dei metadati hanno il seguente formato di nome della risorsa Amazon (ARN), che include l’ID della tabella dei metadati:

arn:aws:s3tables:region-code:account-id:bucket/aws-s3/table/table-id

Ad esempio, una tabella dei metadati nella Regione Stati Uniti orientali (Virginia settentrionale) avrebbe un ARN simile al seguente:

arn:aws:s3tables:us-east-1:111122223333:bucket/aws-s3/table/a12bc345-67d8-912e-3456-7f89123g4h56

Le tabelle del diario hanno il nome journal e le tabelle di inventario in tempo reale hanno il nome inventory.

Quando si crea la configurazione della tabella dei metadati, le tabelle dei metadati vengono archiviate in un bucket di tabelle gestito da AWS. Tutte le configurazioni delle tabelle dei metadati nell’account e nella stessa Regione sono archiviate in un unico bucket di tabelle gestito da AWS. I bucket di tabelle gestiti da AWS sono denominati aws-s3 e hanno il seguente formato del nome della risorsa Amazon (ARN):

arn:aws:s3tables:region:account_id:bucket/aws-s3

Ad esempio, se l’ID dell’account è 123456789012 e il bucket per uso generico si trova negli Stati Uniti orientali (Virginia settentrionale) (us-east-1), anche il bucket di tabelle gestito da AWS viene creato negli Stati Uniti orientali (Virginia settentrionale) (us-east-1) e ha il seguente ARN:

arn:aws:s3tables:us-east-1:123456789012:bucket/aws-s3

Per impostazione predefinita, i bucket di tabelle gestiti da AWS sono crittografati con crittografia lato server utilizzando chiavi gestite da Amazon S3 (SSE-S3). Dopo aver creato la prima configurazione dei metadati, è possibile modificare l’impostazione di crittografia predefinita per il bucket di tabelle gestito da AWS, in modo da utilizzare la crittografia lato server con chiavi AWS Key Management Service (AWS KMS) (SSE-KMS). Per ulteriori informazioni, consulta Crittografia per i bucket di tabelle gestiti da AWS e Specifica della crittografia lato server con chiavi AWS KMS (SSE-KMS) in bucket di tabelle.

All’interno del bucket di tabelle gestito da AWS, le tabelle dei metadati per la configurazione sono in genere archiviate in un namespace con il seguente formato di denominazione:

b_general-purpose-bucket-name

Per ulteriori informazioni sui namespace di tabelle dei metadati, consulta Come funzionano le tabelle di metadati.

Durante la creazione della configurazione della tabella dei metadati, è possibile scegliere di crittografare le tabelle dei metadati gestite da AWS con la crittografia lato server utilizzando le chiavi AWS Key Management Service (AWS KMS) (SSE-KMS). Se scegli di utilizzare SSE-KMS, è necessario fornire una chiave KMS gestita dal cliente nella stessa Regione del bucket per uso generico. È possibile impostare il tipo di crittografia per le tabelle solo durante la creazione della tabella. Dopo aver creato una tabella gestita da AWS, non è possibile modificarne le impostazioni di crittografia. Per specificare SSE-KMS per le tabelle dei metadati, è necessario disporre di determinate autorizzazioni. Per ulteriori informazioni, consulta Autorizzazioni per SSE-KMS.

L’impostazione di crittografia per una tabella dei metadati ha la precedenza sull’impostazione di crittografia predefinita a livello di bucket. Se non specifichi la crittografia, la tabella erediterà l’impostazione di crittografia predefinita del bucket.

I bucket di tabelle gestite da AWS non vengono conteggiati ai fini delle quote di Tabelle S3. Per ulteriori informazioni sull’utilizzo dei bucket di tabelle gestite da AWS e delle tabelle gestite da AWS, consulta Utilizzo dei bucket di tabelle gestite da AWS.

È possibile creare configurazioni delle tabelle di metadati utilizzando la console Amazon S3, AWS Command Line Interface (AWS CLI), gli SDK AWS o la REST API di Amazon S3.

Nota
  • Se la configurazione dei metadati S3 è stata creata prima del 15 luglio 2025, è consigliabile eliminare e ricreare la configurazione in modo da poter far scadere i record della tabella del diario e creare una tabella di inventario. Per ulteriori informazioni, consulta Abilitazione delle tabelle di inventario sulle configurazioni dei metadati create prima del 15 luglio 2025.

  • Se la configurazione di tabelle dei metadati è stata eliminata e desideri ricreare una configurazione per lo stesso bucket per uso generico, è necessario prima eliminare manualmente le vecchie tabelle del diario e di inventario dal bucket di tabelle gestito da AWS. In caso contrario, la creazione della nuova configurazione della tabella dei metadati non riesce perché tali tabelle esistono già. Per eliminare le tabelle dei metadati, consulta Cancellazione di tabelle di metadati.

    L’eliminazione della configurazione della tabella dei metadati elimina solo la configurazione. Il bucket di tabelle gestito da AWS e le tabelle dei metadati continuano ad esistere, anche se si elimina la configurazione della tabella dei metadati.

Prerequisiti

Prima di creare una configurazione di tabelle dei metadati, è necessario soddisfare i prerequisiti seguenti:

  • Per creare una configurazione di tabelle dei metadati, è necessario disporre delle autorizzazioni AWS Identity and Access Management (IAM) richieste per creare e gestire le tabelle dei metadati. Per ulteriori informazioni, consulta Impostazione delle autorizzazioni per la configurazione delle tabelle di metadati.

  • Se prevedi di eseguire query sulle tabelle dei metadati con Amazon Athena o un altro motore di query AWS, assicurati di integrare il bucket di tabelle gestito da AWS con i servizi di analisi AWS. Per ulteriori informazioni, consulta Integrazione di Tabelle Amazon S3 con i servizi di analisi AWS.

    Se hai già integrato un bucket di tabelle esistente nella Regione in uso, anche il bucket di tabelle gestito da AWS viene integrato automaticamente. Per determinare lo stato di integrazione dei bucket di tabelle nella Regione, apri la console Amazon S3 e scegli Bucket di tabelle nel riquadro di navigazione a sinistra. In Integrazione con i servizi di analisi AWS, controlla la Regione e se lo stato dell’integrazione è Abilitato.

Creazione di configurazioni delle tabelle di metadati

Per creare configurazioni delle tabelle di metadati

Prima di creare la configurazione di una tabella di metadati, assicurati di aver esaminato e soddisfatto i prerequisiti e di aver rivisto Limitazioni e restrizioni delle tabelle di metadati.

  1. Accedi alla Console di gestione AWS e apri la console Amazon S3 all’indirizzo https://console.aws.amazon.com/s3/.

  2. Nel riquadro di navigazione sinistro, scegli Bucket per uso generico.

  3. Scegli il bucket per uso generico per il quale si desidera creare una configurazione di tabella di metadati.

    Nota

    Assicurati che questo bucket per uso generico sia Regione AWS in cui sono disponibili bucket di tabelle. I bucket di tabelle sono disponibili solo nelle Regioni Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio) e Stati Uniti occidentali (Oregon).

  4. Nella pagina dei dettagli del bucket, scegli la scheda Metadati.

  5. Nella scheda Metadati, scegli Crea configurazione dei metadati.

  6. Nella pagina Crea una configurazione dei metadati, in Tabella del diario, puoi scegliere se crittografare la tabella con la crittografia lato server utilizzando le chiavi AWS Key Management Service (AWS KMS) (SSE-KMS). Per impostazione predefinita, le tabelle del diario sono crittografate con la crittografia lato server utilizzando le chiavi gestite da Amazon S3 (SSE-S3).

    Se scegli di utilizzare SSE-KMS, è necessario fornire una chiave KMS gestita dal cliente nella stessa Regione del bucket per uso generico.

    Importante

    È possibile impostare il tipo di crittografia per le tabelle dei metadati solo durante la creazione della tabella. Dopo aver creato una tabella gestita da AWS, non è possibile modificarne le impostazioni di crittografia.

    • Per crittografare la tabella del diario con SSE-S3 (impostazione predefinita), scegli Non specificare il tipo di crittografia.

    • Per crittografare la tabella del diario con SSE-KMS, scegli Specifica il tipo di crittografia. In Tipo di crittografia, scegli Crittografia lato server con chiavi AWS Key Management Service (AWS KMS) (SSE-KMS). In Chiave AWS KMS, scegli tra le chiavi KMS esistenti o inserisci l’ARN di una chiave KMS. Se non disponi già di una chiave KMS, scegli Inserisci l’ARN della chiave KMS, quindi scegli Crea una chiave KMS.

      Assicurati di aver configurato le autorizzazioni necessarie per SSE-KMS. Per ulteriori informazioni, consulta Autorizzazioni per SSE-KMS.

  7. (Facoltativo) Per impostazione predefinita, i record della tabella del diario non scadono. Per ridurre al minimo i costi di archiviazione per la tabella del diario, scegli Abilitato per Scadenza dei record.

    Se abiliti la scadenza dei record della tabella del diario, puoi impostare il numero di giorni per mantenere i record della tabella del diario. Per impostare il valore di Giorni dopo i quali scadono i record, puoi specificare qualsiasi numero intero compreso tra 7 e 2147483647. Ad esempio, per mantenere i record della tabella del diario per un anno, imposta questo valore su 365.

    I record scadono entro 24-48 ore dal momento in cui sono diventati idonei alla scadenza.

    Importante

    Dopo la scadenza, i record della tabella del diario non possono essere recuperati.

    Per I record della tabella del diario scadono dopo il numero di giorni specificato, seleziona la casella di controllo.

  8. (Facoltativo) Se desideri aggiungere una tabella di inventario alla configurazione della tabella dei metadati, in Tabella di inventario in tempo reale, scegli Abilitato per Stato di configurazione.

    Puoi scegliere di crittografare la tabella con la crittografia lato server utilizzando le chiavi AWS Key Management Service (AWS KMS) (SSE-KMS). Per impostazione predefinita, le tabelle di inventario sono crittografate con la crittografia lato server utilizzando le chiavi gestite da Amazon S3 (SSE-S3).

    Se scegli di utilizzare SSE-KMS, è necessario fornire una chiave KMS gestita dal cliente nella stessa Regione del bucket per uso generico.

    Importante

    È possibile impostare il tipo di crittografia per le tabelle dei metadati solo durante la creazione della tabella. Dopo aver creato una tabella gestita da AWS, non è possibile modificarne le impostazioni di crittografia.

    • Per crittografare la tabella di inventario con SSE-S3 (impostazione predefinita), scegli Non specificare il tipo di crittografia.

    • Per crittografare la tabella di inventario con SSE-KMS, scegli Specifica il tipo di crittografia. In Tipo di crittografia, scegli Crittografia lato server con chiavi AWS Key Management Service (AWS KMS) (SSE-KMS). In Chiave AWS KMS, scegli tra le chiavi KMS esistenti o inserisci l’ARN di una chiave KMS. Se non disponi già di una chiave KMS, scegli Inserisci l’ARN della chiave KMS, quindi scegli Crea una chiave KMS.

      Assicurati di aver configurato le autorizzazioni necessarie per SSE-KMS. Per ulteriori informazioni, consulta Autorizzazioni per SSE-KMS.

  9. Scegli Creazione di configurazioni delle tabelle di metadati.

Se la configurazione della tabella dei metadati è riuscita, i nomi e gli ARN delle tabelle dei metadati vengono visualizzati nella scheda Metadati, insieme al nome del bucket della tabella gestita da AWS e del namespace.

Se hai scelto di abilitare una tabella di inventario per la configurazione della tabella dei metadati, la tabella viene sottoposta a un processo noto come riempimento, durante il quale Amazon S3 analizza il bucket per uso generico per recuperare i metadati iniziali per tutti gli oggetti presenti nel bucket. A seconda del numero di oggetti nel bucket, questo processo può richiedere da minuti (minimo 15 minuti) a ore. Al termine del processo di riempimento, lo stato della tabella di inventario passa da Riempimento in corso ad Attivo. Una volta completato il riempimento, gli aggiornamenti degli oggetti si riflettono in genere nella tabella di inventario entro un’ora.

Per monitorare gli aggiornamenti della configurazione della tabella dei metadati, si può usare AWS CloudTrail. Per ulteriori informazioni, consulta Operazioni a livello di bucket Amazon S3 monitorate tramite i log di CloudTrail.

Per eseguire i seguenti comandi, è necessario che AWS CLI sia installato e configurato. Se non hai installato AWS CLI, consulta Installazione o aggiornamento alla versione più recente di AWS CLI nella Guida all'utente AWS Command Line Interface.

In alternativa, è possibile eseguire i comandi AWS CLI dalla console utilizzando AWS CloudShell. AWS CloudShell è una shell pre-autenticata basata su browser che può essere lanciata direttamente da Console di gestione AWS. Per ulteriori informazioni, consulta Cos'è CloudShell? e Guida all'avvio con AWS CloudShell nella Guida all'utente AWS CloudShell.

Per creare configurazioni delle tabelle di metadati usando AWS CLI

Prima di creare la configurazione di una tabella di metadati, assicurati di aver esaminato e soddisfatto i prerequisiti e di aver rivisto Limitazioni e restrizioni delle tabelle di metadati.

Per utilizzare i seguenti comandi di esempio, sostituisci user input placeholders con le tue informazioni.

  1. Crea un file JSON contenente la configurazione della tabella dei metadati e salvalo (ad esempio, metadata-config.json). Di seguito è riportato un esempio di configurazione.

    È necessario specificare se abilitare o disabilitare la scadenza dei record della tabella del diario. Se si sceglie di abilitare la scadenza dei record, è necessario specificare anche il numero di giorni dopo i quali scadranno i record della tabella del diario. Per impostare il valore di Days, è possibile specificare qualsiasi numero intero compreso tra 7 e 2147483647. Ad esempio, per mantenere i record della tabella del diario per un anno, imposta questo valore su 365.

    Facoltativamente, puoi scegliere di configurare una tabella di inventario.

    Sia per le tabelle del diario che per le tabelle di inventario, è possibile facoltativamente specificare una configurazione di crittografia. Per impostazione predefinita, le tabelle dei metadati sono crittografate con la crittografia lato server utilizzando le chiavi gestite da Amazon S3 (SSE-S3), che è possibile specificare impostando SseAlgorithm su AES256.

    Per crittografare le tabelle dei metadati con la crittografia lato server utilizzando le chiavi AWS Key Management Service (AWS KMS) (SSE-KMS), imposta SseAlgorithm su aws:kms. È inoltre necessario impostare KmsKeyArn sull’ARN di una chiave KMS gestita dal cliente nella stessa Regione in cui si trova il bucket per uso generico.

    { "JournalTableConfiguration": { "RecordExpiration": { "Expiration": "ENABLED", "Days": 10 }, "EncryptionConfiguration": { "SseAlgorithm": "AES256" } }, "InventoryTableConfiguration": { "ConfigurationState": "ENABLED", "EncryptionConfiguration": { "SseAlgorithm": "aws:kms", "KmsKeyArn": "arn:aws:kms:us-east-2:account-id:key/key-id" } } }
  2. Utilizza il seguente comando per applicare la configurazione della tabella dei metadati al bucket per uso generico (ad esempio, amzn-s3-demo-bucket):

    aws s3api create-bucket-metadata-configuration \ --bucket amzn-s3-demo-bucket \ --metadata-configuration file://./metadata-config.json \ --region us-east-2
  3. Per verificare che la configurazione sia stata creata, usa il seguente comando:

    aws s3api get-bucket-metadata-configuration \ --bucket amzn-s3-demo-bucket \ --region us-east-2

Per monitorare gli aggiornamenti della configurazione della tabella dei metadati, si può usare AWS CloudTrail. Per ulteriori informazioni, consulta Operazioni a livello di bucket Amazon S3 monitorate tramite i log di CloudTrail.

È possibile inviare richieste REST per creare la configurazione di una tabella di metadati. Per ulteriori informazioni, consulta CreateBucketMetadataConfiguration nella documentazione di riferimento delle API di Amazon S3.

È possibile utilizzare gli SDK AWS per creare una configurazione di tabella di metadati in Amazon S3. Per informazioni, consulta l'elenco degli SDK supportati nella documentazione di riferimento delle API di Amazon S3.

Abilitazione delle tabelle di inventario sulle configurazioni dei metadati create prima del 15 luglio 2025

Se la configurazione dei metadati S3 è stata creata prima del 15 luglio 2025, è consigliabile eliminare e ricreare la configurazione in modo da poter far scadere i record della tabella del diario e creare una tabella di inventario. Eventuali modifiche al bucket per uso generico che si verificano tra l’eliminazione della vecchia configurazione e la creazione di quella nuova non vengono registrate in nessuna delle tabelle del diario.

Per eseguire la migrazione da una vecchia configurazione dei metadati a una nuova configurazione, procedi come segue:

  1. Elimina la configurazione esistente della tabella dei metadati. Per istruzioni dettagliate, consulta Cancellazione di configurazioni delle tabelle di metadati.

  2. Crea una nuova configurazione della tabella dei metadati. Per istruzioni dettagliate, consulta Creazione di configurazioni delle tabelle di metadati.

Se hai bisogno di assistenza per la migrazione della configurazione, contatta Supporto AWS.

Dopo aver creato la nuova configurazione dei metadati, avrai due tabelle del diario. Se non hai più bisogno della vecchia tabella del diario, puoi eliminarla. Per istruzioni dettagliate, consulta Cancellazione di tabelle di metadati. Se hai mantenuto la vecchia tabella del diario e desideri unirla a quella nuova, consulta Unione di metadati personalizzati con le tabelle di metadati S3 per alcuni esempi su come unire due tabelle.

Dopo la migrazione, puoi effettuare quanto segue:

  1. Per visualizzare la configurazione, ora puoi utilizzare l’operazione API GetBucketMetadataConfiguration. Per determinare se la configurazione è vecchia o nuova, puoi esaminare il seguente attributo della risposta dell’API GetBucketMetadataConfiguration. Un tipo di bucket gestito da AWS ("aws") indica una nuova configurazione e un tipo di bucket gestito dal cliente ("customer") indica una vecchia configurazione.

    "MetadataTableConfigurationResult": { "TableBucketType": ["aws" | "customer"]

    Per ulteriori informazioni, consulta Visualizzazione delle configurazioni delle tabelle dei metadati.

    Nota

    È possibile utilizzare le operazioni API GetBucketMetadataConfiguration e DeleteBucketMetadataConfiguration con configurazioni di tabelle dei metadati vecchie o nuove. Tuttavia, se provi a utilizzare le operazioni API GetBucketMetadataTableConfiguration e DeleteBucketMetadataTableConfiguration con nuove configurazioni, verranno visualizzati errori HTTP 405 Method Not Allowed.

    Assicurati di aggiornare i processi per utilizzare le nuove operazioni API (CreateBucketMetadataConfiguration, GetBucketMetadataConfiguration e DeleteBucketMetadataConfiguration) anziché le vecchie operazioni API.

  2. Se prevedi di eseguire query sulle tabelle dei metadati con Amazon Athena o un altro motore di query AWS, assicurati di integrare il bucket di tabelle gestito da AWS con i servizi di analisi AWS. Se hai già integrato un bucket di tabelle esistente nella Regione in uso, anche il bucket di tabelle gestito da AWS viene integrato automaticamente. Per ulteriori informazioni, consulta Integrazione di Tabelle Amazon S3 con i servizi di analisi AWS.