Schema der S3-Metadaten-Live-Inventartabellen - Amazon Simple Storage Service

Schema der S3-Metadaten-Live-Inventartabellen

Die Live-Inventartabelle bietet eine einfache, abfragbare Bestandsaufnahme aller Objekte und ihrer Versionen in Ihrem Bucket, so dass Sie den aktuellen Status Ihrer Daten ermitteln können. Aktualisierungen Ihrer Objekte werden in der Regel innerhalb einer Stunde in der Inventartabelle wiedergegeben.

Sie können diese Tabelle verwenden, um Geschäftsabläufe und Big-Data-Jobs zu vereinfachen und zu beschleunigen, indem Sie Objekte identifizieren, die Sie für verschiedene Workloads verarbeiten möchten. Beispielsweise können Sie die Live-Inventartabelle abfragen, um Folgendes zu tun:

  • Suchen aller Objekte, die in der S3 Glacier Deep Archive-Speicherklasse gespeichert sind.

  • Erstellen einer Verteilung von Objekt-Tags oder Suchen nach Objekten ohne Tags.

  • Suchen aller Objekte, die nicht mithilfe der serverseitigen Verschlüsselung mit AWS Key Management Service (AWS KMS)-Schlüsseln (SSE-KMS) verschlüsselt sind.

Wenn Sie die Inventarisierungstabelle für Ihre Metadaten-Tabellenkonfiguration aktivieren, durchläuft die Tabelle einen Prozess, der als Backfilling bekannt ist, während dessen Amazon S3 Ihren Allzweck-Bucket scannt, um die anfänglichen Metadaten für alle Objekte im Bucket abzurufen. Je nach Anzahl der Objekte in Ihrem Bucket kann dieser Vorgang einige (mindestens 15) Minuten bis einige Stunden dauern. Wenn der Backfilling-Vorgang abgeschlossen ist, ändert sich der Status Ihrer Live-Inventartabelle von Backfilling zu Aktiv. Nachdem das Backfilling abgeschlossen ist, werden Aktualisierungen Ihrer Objekte in der Regel innerhalb einer Stunde in der Live-Inventartabelle wiedergegeben.

Anmerkung

Hinweis: Das Backfilling Ihrer Live-Inventartabelle wird Ihnen in Rechnung gestellt. Wenn Ihr Allzweck-Bucket mehr als eine Milliarde Objekte enthält, wird Ihnen auch eine monatliche Gebühr für Ihre Live-Inventartabelle berechnet. Weitere Informationen finden Sie unter Amazon S3 – Preise.

Amazon S3 Metadaten-Inventartabellen enthalten Zeilen und Spalten. Jede Zeile steht für den aktuellen Zustand eines Objekts in Ihrem Allzweck-Bucket. Die Inventartabelle bietet eine einfache, abfragbare Bestandsaufnahme aller Objekte in Ihrem Bucket, so dass Sie den aktuellen Zustand Ihrer Daten ermitteln können.

Nachfolgend ein Beispiel für eine Bestandstabelle für einen Allzweck-Bucket namens amzn-s3-demo-bucket:

bucket key sequence_number version_id is_delete_marker size last_modified_date e_tag storage_class is_multipart encryption_status is_bucket_key_enabled kms_key_arn checksum_algorithm object_tags user_metadata amzn-s3-demo-bucket Finance/statement1.pdf 80e737d8b4d82f776affffffffffffffff006737d8b4d82f776a00000000000000000000000000000000000000000000000072 FALSE 6223 11/15/2024 23:26 e131b86632dda753aac4018f72192b83 STANDARD FALSE SSE-KMS FALSE arn:aws:kms:us-east-1:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890df SSECRC32 {} {count -> Asia, customs -> false, family -> true, location -> Mary, name -> football, user -> United States} amzn-s3-demo-bucket s3-dg.pdf 80e737d8b4e39f1dbdffffffffffffffff006737d8b4e39f1dbd00000000000000000000000000000000000000000000000072 FALSE 3554 11/15/2024 23:26 9bb49efc2d92c05558ddffbbde8636d5 STANDARD FALSE DSSE-KMS FALSE arn:aws:kms:us-east-1:936810216292:key/0dcebce6-49fd-4cae-b2e2-5512ad281afd SSESHA1 {} {} amzn-s3-demo-bucket Development/Projects.xls 80e737d8b4ed9ac5c6ffffffffffffffff006737d8b4ed9ac5c600000000000000000000000000000000000000000000000072 FALSE 7746 11/15/2024 23:26 729a6863e47fb9955b31bfabce984908 STANDARD FALSE SSE-S3 FALSE NULL SSECRC32 {} {count -> Asia, customs -> Canada, family -> Billiards, filter -> true, location -> Europe, name -> Asia, user -> United States}

Die Inventartabellen haben das folgende Schema:

Spaltenname Erforderlich? Datentyp

bucket

Ja Zeichenfolge Der Name des Allzweck-Buckets. Weitere Informationen finden Sie unter Benennungsregeln für Allzweck-Buckets.

key

Ja Zeichenfolge Der Name des Objektschlüssels (oder Schlüssel), der das Objekt in dem Bucket eindeutig identifiziert. Weitere Informationen finden Sie unter Markieren von Amazon-S3-Objekten.

sequence_number

Ja Zeichenfolge

Die Sequenznummer, bei der es sich um eine Ordinalzahl handelt, die in den Datensätzen für ein bestimmtes Objekt enthalten ist. Um Datensätze desselben Buckets und Schlüssels zu sortieren, können Sie nach sequence_number sortieren. Bei einem bestimmten Bucket und Schlüssel bedeutet ein lexikographisch größerer sequence_number-Wert, dass der Datensatz erst vor Kurzem in den Bucket aufgenommen wurde.

version_id

Nein Zeichenfolge

Die Versions-ID des Objekts. Wenn Sie das Versioning für einen Bucket aktivieren, weist Amazon S3 allen Objekten, die dem Bucket hinzugefügt werden, eine Versionsnummer zu. Weitere Informationen finden Sie unter Beibehalten mehrerer Versionen von Objekten mit der S3-Versionsverwaltung.

Objekte, die in Ihrem Bucket gespeichert sind, bevor Sie den Status für die Versionsverwaltung einrichten, haben die Versions-ID „Null“.

is_delete_marker

Nein Boolesch

Der Status der Löschmarkierung des Objekts. Wenn das Objekt eine Löschmarkierung ist, ist dieser Wert True. Andernfalls ist der Wert False. Weitere Informationen finden Sie unter Arbeiten mit Löschmarkierungen.

Anmerkung

Zeilen, die für Löschmarkierungen hinzugefügt werden, haben einen record_type-Wert von DELETE, nicht UPDATE_METADATA. Wenn die Löschmarkierung als Ergebnis eines S3-Lifecycle-Ablaufs erstellt wird, lautet der requester-Wert s3.amazonaws.com.

size

Nein Long

Die Objektgröße in Byte, ohne die Größe von unvollständigen mehrteiligen Uploads oder Objektmetadaten. Wenn is_delete_marker True ist, ist die Größe 0. Weitere Informationen finden Sie unter Systemdefinierte Objektmetadaten.

last_modified_date

Nein Zeitstempel NTZ (keine Zeitzone)

Das Datum, an dem das Objekt erstellt wurde, oder das letzte Änderungsdatum, je nachdem, welcher Wert aktueller ist Bei mehrteiligen Uploads entspricht das Objekterstellungsdatum dem Startdatum des mehrteiligen Uploads. Weitere Informationen finden Sie unter Systemdefinierte Objektmetadaten.

e_tag

Nein Zeichenfolge

Das Entity-Tag (ETag), das ein Hash des Objekts ist. Das ETag gibt nur Änderungen am Inhalt eines Objekts wieder, nicht an seinen Metadaten. Das ETag kann ein MD5-Digest der Objektdaten sein, muss aber nicht. Ob der ETag ein MD5-Digest ist, hängt davon ab, wie das Objekt erstellt und wie es verschlüsselt wurde. Weitere Informationen finden Sie unter Object in der Amazon-S3-API-Referenz.

storage_class

Nein Zeichenfolge

Die Speicherklasse, für die Speicherung des Objekts verwendet wird. STANDARD, REDUCED_REDUNDANCY, STANDARD_IA, ONEZONE_IA, INTELLIGENT_TIERING, GLACIER, DEEP_ARCHIVE oder GLACIER_IR. Weitere Informationen finden Sie unter Verstehen und Verwalten von Amazon-S3-Speicherklassen.

is_multipart

Nein Boolesch

Der Upload-Typ des Objekts. Wenn das Objekt als mehrteiliger Upload hochgeladen wurde, ist dieser Wert True. Andernfalls ist der Wert False. Weitere Informationen finden Sie unter Hochladen und Kopieren von Objekten mit mehrteiligen Uploads in Amazon S3.

encryption_status

Nein Zeichenfolge

Der serverseitige Verschlüsselungsstatus, abhängig vom verwendeten Verschlüsselungsschlüssel: Die serverseitige Verschlüsselung mit von Amazon S3 verwalteten Schlüsseln (SSE-S3), die serverseitige Verschlüsselung mit AWS Key Management Service (AWS KMS) -Schlüsseln (SSE-KMS), die serverseitige Dual-Layer-Verschlüsselung mit AWS KMS keys (DSSE-KMS) oder die serverseitige Verschlüsselung mit vom Kunden bereitgestellten Schlüsseln (SSE-C). Wenn das Objekt unverschlüsselt ist, ist dieser Wert null. Mögliche Werte sind SSE-S3, SSE-KMS, DSSE-KMS, SSE-C oder null. Weitere Informationen finden Sie unter Datenschutz durch Verschlüsselung.

is_bucket_key_enabled

Nein Boolesch

Der S3-Bucket-Key-Aktivierungsstatus des Objekts. Wenn das Objekt einen S3-Bucket-Schlüssel für SSE-KMS verwendet, ist dieser Wert. True. Andernfalls ist der Wert False. Weitere Informationen finden Sie unter Konfigurieren eines S3-Bucket-Schlüssels auf Objektebene.

kms_key_arn

Nein Zeichenfolge

Der Amazon-Ressourcenname (ARN) für den KMS-Schlüssel, mit dem das Objekt verschlüsselt ist, für Zeilen, in denen encryption_status SSE-KMS oder DSSE-KMS ist. Wenn das Objekt nicht mit SSE-KMS oder DSSE-KMS verschlüsselt ist, ist der Wert null. Weitere Informationen finden Sie unter Verwenden serverseitiger Verschlüsselung mit AWS KMS-Schlüsseln (SSE-KMS) und Verwenden serverseitiger Dual-Layer-Verschlüsselung mit AWS KMS-Schlüsseln (DSSE-KMS).

Anmerkung

Wenn eine Zeile eine Objektversion darstellt, die zum Zeitpunkt der Verarbeitung eines Lösch- oder Überschreibungsereignisses nicht mehr existierte, enthält kms_key_arn einen Nullwert, selbst wenn der encryption_status-Spaltenwert SSE-KMS oder DSSE-KMS ist.

checksum_algorithm

Nein Zeichenfolge

Der Algorithmus, der verwendet wird, um die Prüfsumme für das Objekt zu erstellen, einer von CRC64-NVME, CRC32, CRC32C, SHA1 oder SHA256. Falls keine Prüfsumme vorhanden ist, lautet dieser Wert null. Weitere Informationen finden Sie unter Verwenden unterstützter Prüfsummenalgorithmen.

object_tags

Nein Map <String, String>

Die Objekt-Tags, die mit dem Objekt verknüpft sind. Objekt-Tags werden als Zuordnung von Schlüssel-Wert-Paaren gespeichert. Wenn ein Objekt keine Objekt-Tags hat, wird eine leere Zuordnung ({}) gespeichert. Weitere Informationen finden Sie unter Kategorisierung Ihrer Objekte mit Hilfe von Tags.

Anmerkung

Wenn der record_type-Wert DELETE ist, enthält die object_tags-Spalte einen Nullwert. Wenn der record_type-Wert CREATE oder UPDATE_METADATA ist, enthalten Zeilen, die Objektversionen darstellen, die zum Zeitpunkt der Verarbeitung eines Lösch- oder Überschreibungsereignisses nicht mehr existierten, einen Nullwert in der object_tags-Spalte.

user_metadata

Nein Map <String, String>

Die Benutzermetadaten, die dem Objekt verknüpft sind. Benutzermetadaten werden als Zuordnung von Schlüssel-Wert-Paaren gespeichert. Wenn ein Objekt keine Benutzermetadaten hat, wird eine leere Zuordnung ({}) gespeichert. Weitere Informationen finden Sie unter Benutzerdefinierte Objektmetadaten.

Anmerkung

Wenn der record_type-Wert DELETE ist, enthält die user_metadata-Spalte einen Nullwert. Wenn der record_type-Wert CREATE oder UPDATE_METADATA ist, enthalten Zeilen, die Objektversionen darstellen, die zum Zeitpunkt der Verarbeitung eines Lösch- oder Überschreibungsereignisses nicht mehr existierten, einen Nullwert in der user_metadata-Spalte.