Schema der S3-Metadaten-Journal-Tabellen - Amazon Simple Storage Service

Schema der S3-Metadaten-Journal-Tabellen

Eine Journaltabelle zeichnet Änderungen an Ihren Daten nahezu in Echtzeit auf und hilft Ihnen dabei, neue Daten zu identifizieren, die in Ihren Bucket hochgeladen wurden, kürzlich gelöschte Objekte zu verfolgen, Lebenszyklusübergänge zu überwachen und vieles mehr. Die Journaltabelle zeichnet neue Objekte und Aktualisierungen Ihrer Objekte und ihrer Metadaten auf (die Aktualisierungen, für die entweder eine PUT- oder eine DELETE-Operation erforderlich ist). Da diese Tabelle abfragbar ist, können Sie die Änderungen an Ihrem Bucket durch einfache SQL-Abfragen überprüfen.

Sie können die Journal-Tabelle für Sicherheits-, Prüfungs- und Compliance-Anwendungsfälle verwenden, um hochgeladene, gelöschte und geänderte Objekte im Bucket zu verfolgen. Sie können zum Beispiel die Journaltabelle abfragen, um Fragen wie diese zu beantworten:

  • Welche Objekte wurden in den letzten 24 Stunden von S3 Lifecycle gelöscht?

  • Von welchen IP-Adressen kamen die letzten PUT-Anfragen?

  • Welche AWS Key Management Service (AWS KMS) Schlüssel wurden in den letzten 7 Tagen für PUT Anfragen verwendet?

  • Welche Objekte in Ihrem Bucket wurden von Amazon Bedrock in den letzten fünf Tagen erstellt?

Amazon S3 Metadata Journal-Tabellen enthalten Zeilen und Spalten. Jede Zeile steht für ein Mutationsereignis, das ein Objekt in Ihrem Allzweck-Bucket erstellt, aktualisiert oder gelöscht hat. Die meisten dieser Ereignisse resultieren aus Benutzeraktionen, aber einige dieser Ereignisse resultieren aus Aktionen, die von Amazon S3 in Ihrem Namen durchgeführt werden, wie z. B. S3-Lebenszyklusabläufe oder Speicherklassenübergänge.

S3-Metadaten-Journaltabellen sind schließlich mit den Änderungen konsistent, die in Ihrem Allzweck-Bucket stattgefunden haben. In einigen Fällen kann es vorkommen, dass zu dem Zeitpunkt, an dem S3 Metadata benachrichtigt wird, dass ein Objekt erstellt oder aktualisiert wird, dieses Objekt bereits im Bucket überschrieben oder gelöscht wurde. In solchen Fällen können die Objekte nicht mehr abgerufen werden und einige Spalten zeigen möglicherweise einen NULL-Wert an, um auf ein fehlendes Metadatenschema hinzuweisen.

Nachfolgend ein Beispiel für eine Journaltabelle für einen Allzweck-Bucket namens amzn-s3-demo-bucket: 

bucket                key                        sequence_number                                                                                          record_type   record_timestamp           version_id   is_delete_marker   size   last_modified_date   e_tag	                           storage_class  is_multipart   encryption_status   is_bucket_key_enabled   kms_key_arn                                                                   checksum_algorithm   object_tags   user_metadata	                                                                                                                 requester      source_ip_address   request_id 
amzn-s3-demo-bucket   Finance/statement1.pdf     80e737d8b4d82f776affffffffffffffff006737d8b4d82f776a00000000000000000000000000000000000000000000000072   CREATE        2024-11-15 23:26:44.899                 FALSE              6223   11/15/2024 23:26     e131b86632dda753aac4018f72192b83    STANDARD	  FALSE          SSE-KMS             FALSE                   arn:aws:kms:us-east-1:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890df   SSECRC32             {}            {count -> Asia, customs -> false, family -> true, location -> Mary, name -> football, user -> United States}                       111122223333   192.0.2.1           CVK8FWYRW0M9JW65
amzn-s3-demo-bucket   s3-dg.pdf                  80e737d8b4e39f1dbdffffffffffffffff006737d8b4e39f1dbd00000000000000000000000000000000000000000000000072   CREATE        2024-11-15 23:26:44.942                 FALSE              3554   11/15/2024 23:26     9bb49efc2d92c05558ddffbbde8636d5    STANDARD	  FALSE          DSSE-KMS            FALSE                   arn:aws:kms:us-east-1:936810216292:key/0dcebce6-49fd-4cae-b2e2-5512ad281afd   SSESHA1              {}            {}                                                                                                                                 111122223333   192.0.2.1           CVKAQDRAZEG7KXAY
amzn-s3-demo-bucket   Development/Projects.xls   80e737d8b4ed9ac5c6ffffffffffffffff006737d8b4ed9ac5c600000000000000000000000000000000000000000000000072   CREATE        2024-11-15 23:26:44.966                 FALSE              7746   11/15/2024 23:26     729a6863e47fb9955b31bfabce984908    STANDARD	  FALSE          SSE-S3              FALSE                   NULL                                                                          SSECRC32             {}            {count -> Asia, customs -> Canada, family -> Billiards, filter -> true, location -> Europe, name -> Asia, user -> United States}   111122223333   192.0.2.1           CVK7Z6XQTQ90BSRV

Journaltabellen haben das folgende Schema:

Spaltenname Erforderlich? Datentyp

bucket

 Ja Zeichenfolge Der Name des Allzweck-Buckets. Weitere Informationen finden Sie unter Benennungsregeln für Allzweck-Buckets.

key

 Ja Zeichenfolge Der Name des Objektschlüssels (oder Schlüssel), der das Objekt in dem Bucket eindeutig identifiziert. Weitere Informationen finden Sie unter Markieren von Amazon-S3-Objekten.

sequence_number

 Ja Zeichenfolge

Die Sequenznummer, bei der es sich um eine Ordinalzahl handelt, die in den Datensätzen für ein bestimmtes Objekt enthalten ist. Um Datensätze desselben Buckets und Schlüssels zu sortieren, können Sie nach sequence_number sortieren. Bei einem bestimmten Bucket und Schlüssel bedeutet ein lexikographisch größerer sequence_number-Wert, dass der Datensatz erst vor Kurzem in den Bucket aufgenommen wurde.

record_type

 Ja Zeichenfolge

Der Typ dieses Datensatzes, CREATE, UPDATE_METADATA oder DELETE.

CREATE-Datensätze geben an, dass ein neues Objekt (oder eine neue Version des Objekts) in den Bucket geschrieben wurde.

UPDATE_METADATA-Datensätze erfassen Änderungen an veränderbaren Metadaten für ein vorhandenes Objekt, wie z. B. die Speicherklasse oder Tags.

DELETE-Datensätze geben an, dass dieses Objekt (oder diese Version des Objekts) gelöscht wurde. Wenn die Versionsverwaltung aktiviert ist, stellen DELETE-Datensätze entweder eine Löschmarkierung oder eine permanente Löschung dar. Sie werden anhand der optionalen is_delete_marker-Spalte weiter abgegrenzt.

Weitere Informationen finden Sie unter Löschen von Objekten aus einem versioning-fähigen Bucket.

Anmerkung

Eine dauerhafte Löschung führt zu NULL-Werten in allen Spalten, mit Ausnahme von bucket, key, sequence_number, record_type, record_timestamp und version_id (d. h. den als erforderlich gekennzeichneten Spalten).

record_timestamp

 Ja Zeitstempel NTZ (keine Zeitzone)

Der Zeitstempel, der diesem Datensatz zugeordnet ist.

version_id

 Nein Zeichenfolge

Die Versions-ID des Objekts. Wenn Sie das Versioning für einen Bucket aktivieren, weist Amazon S3 allen Objekten, die dem Bucket hinzugefügt werden, eine Versionsnummer zu. Weitere Informationen finden Sie unter Beibehalten mehrerer Versionen von Objekten mit der S3-Versionsverwaltung.

Objekte, die in Ihrem Bucket gespeichert sind, bevor Sie den Status für die Versionsverwaltung einrichten, haben die Versions-ID „Null“.

is_delete_marker

 Nein Boolesch

Der Status der Löschmarkierung des Objekts. Für DELETE-Datensätze, bei denen es sich um Löschmarken handelt, ist dieser Wert TRUE. Bei dauerhaften Löschungen wird dieser Wert weggelassen (NULL). Andere Datensatztypen (CREATE und UPDATE_METADATA) haben einen Wert FALSE. Weitere Informationen finden Sie unter Arbeiten mit Löschmarkierungen.

Anmerkung

Zeilen, die für Löschmarkierungen hinzugefügt werden, haben einen record_type-Wert von DELETE, nicht UPDATE_METADATA. Wenn die Löschmarkierung als Ergebnis eines S3-Lifecycle-Ablaufs erstellt wird, lautet der requester-Wert s3.amazonaws.com.

size

 Nein Long

Die Objektgröße in Byte, ohne die Größe von unvollständigen mehrteiligen Uploads oder Objektmetadaten. Wenn is_delete_marker TRUE ist, ist die Größe 0. Weitere Informationen finden Sie unter Systemdefinierte Objektmetadaten.

last_modified_date

 Nein Zeitstempel NTZ (keine Zeitzone)

Das Datum, an dem das Objekt erstellt wurde, oder das letzte Änderungsdatum, je nachdem, welcher Wert aktueller ist Bei mehrteiligen Uploads entspricht das Objekterstellungsdatum dem Startdatum des mehrteiligen Uploads. Weitere Informationen finden Sie unter Systemdefinierte Objektmetadaten.

e_tag

 Nein Zeichenfolge

Das Entity-Tag (ETag), das ein Hash des Objekts ist. Das ETag gibt nur Änderungen am Inhalt eines Objekts wieder, nicht an seinen Metadaten. Das ETag kann ein MD5-Digest der Objektdaten sein, muss aber nicht. Ob der ETag ein MD5-Digest ist, hängt davon ab, wie das Objekt erstellt und wie es verschlüsselt wurde. Weitere Informationen finden Sie unter Object in der Amazon-S3-API-Referenz.

storage_class

 Nein Zeichenfolge

Die Speicherklasse, für die Speicherung des Objekts verwendet wird. STANDARD, REDUCED_REDUNDANCY, STANDARD_IA, ONEZONE_IA, INTELLIGENT_TIERING, GLACIER, DEEP_ARCHIVE oder GLACIER_IR. Weitere Informationen finden Sie unter Verstehen und Verwalten von Amazon-S3-Speicherklassen.

is_multipart

 Nein Boolesch

Der Upload-Typ des Objekts. Wenn das Objekt als mehrteiliger Upload hochgeladen wurde, ist dieser Wert TRUE. Andernfalls ist der Wert FALSE. Weitere Informationen finden Sie unter Hochladen und Kopieren von Objekten mit mehrteiligen Uploads in Amazon S3.

encryption_status

 Nein Zeichenfolge

Der serverseitige Verschlüsselungsstatus, abhängig vom verwendeten Verschlüsselungsschlüssel: Die serverseitige Verschlüsselung mit von Amazon S3 verwalteten Schlüsseln (SSE-S3), die serverseitige Verschlüsselung mit AWS Key Management Service (AWS KMS) -Schlüsseln (SSE-KMS), die serverseitige Dual-Layer-Verschlüsselung mit AWS KMS keys (DSSE-KMS) oder die serverseitige Verschlüsselung mit vom Kunden bereitgestellten Schlüsseln (SSE-C). Wenn das Objekt unverschlüsselt ist, ist dieser Wert null. Mögliche Werte sind SSE-S3, SSE-KMS, DSSE-KMS, SSE-C oder null. Weitere Informationen finden Sie unter Datenschutz durch Verschlüsselung.

is_bucket_key_enabled

 Nein Boolesch

Der S3-Bucket-Key-Aktivierungsstatus des Objekts. Wenn das Objekt einen S3-Bucket-Schlüssel für SSE-KMS verwendet, ist dieser Wert. TRUE. Andernfalls ist der Wert FALSE. Weitere Informationen finden Sie unter Konfigurieren eines S3-Bucket-Schlüssels auf Objektebene.

kms_key_arn

 Nein Zeichenfolge

Der Amazon-Ressourcenname (ARN) für den KMS-Schlüssel, mit dem das Objekt verschlüsselt ist, für Zeilen, in denen encryption_status SSE-KMS oder DSSE-KMS ist. Wenn das Objekt nicht mit SSE-KMS oder DSSE-KMS verschlüsselt ist, ist der Wert null. Weitere Informationen finden Sie unter Verwenden serverseitiger Verschlüsselung mit AWS KMS-Schlüsseln (SSE-KMS) und Verwenden serverseitiger Dual-Layer-Verschlüsselung mit AWS KMS-Schlüsseln (DSSE-KMS).

Anmerkung

Wenn eine Zeile eine Objektversion darstellt, die zum Zeitpunkt der Verarbeitung eines Lösch- oder Überschreibungsereignisses nicht mehr existierte, enthält kms_key_arn einen Nullwert, selbst wenn der encryption_status-Spaltenwert SSE-KMS oder DSSE-KMS ist.

checksum_algorithm

 Nein Zeichenfolge

Der Algorithmus, der verwendet wird, um die Prüfsumme für das Objekt zu erstellen, einer von CRC64NVME, CRC32, CRC32C, SHA1 oder SHA256. Falls keine Prüfsumme vorhanden ist, lautet dieser Wert null. Weitere Informationen finden Sie unter Verwenden unterstützter Prüfsummenalgorithmen.

object_tags

 Nein Map <String, String>

Die Objekt-Tags, die mit dem Objekt verknüpft sind. Objekt-Tags werden als Zuordnung von Schlüssel-Wert-Paaren gespeichert. Wenn ein Objekt keine Objekt-Tags hat, wird eine leere Zuordnung ({}) gespeichert. Weitere Informationen finden Sie unter Kategorisierung Ihrer Objekte mit Hilfe von Tags.

Anmerkung

Wenn der record_type-Wert DELETE ist, enthält die object_tags-Spalte einen Nullwert. Wenn der record_type-Wert CREATE oder UPDATE_METADATA ist, enthalten Zeilen, die Objektversionen darstellen, die zum Zeitpunkt der Verarbeitung eines Lösch- oder Überschreibungsereignisses nicht mehr existierten, einen Nullwert in der object_tags-Spalte.

user_metadata

 Nein Map <String, String>

Die Benutzermetadaten, die dem Objekt verknüpft sind. Benutzermetadaten werden als Zuordnung von Schlüssel-Wert-Paaren gespeichert. Wenn ein Objekt keine Benutzermetadaten hat, wird eine leere Zuordnung ({}) gespeichert. Weitere Informationen finden Sie unter Benutzerdefinierte Objektmetadaten.

Anmerkung

Wenn der record_type-Wert DELETE ist, enthält die user_metadata-Spalte einen Nullwert. Wenn der record_type-Wert CREATE oder UPDATE_METADATA ist, enthalten Zeilen, die Objektversionen darstellen, die zum Zeitpunkt der Verarbeitung eines Lösch- oder Überschreibungsereignisses nicht mehr existierten, einen Nullwert in der user_metadata-Spalte.

requester

 Nein Zeichenfolge

Die AWS-Konto-ID des Anforderers oder des AWS-Service-Prinzipals, der die Anforderung gesendet hat. Wenn der Anforderer beispielsweise S3 Lifecycle ist, ist dieser Wert s3.amazonaws.com.

source_ip_address

 Nein Zeichenfolge

Die Quell-IP-Adresse der Anforderung. Bei Datensätzen, die durch eine Benutzeranfrage generiert werden, enthält diese Spalte die Quell-IP-Adresse der Anfrage. Für Aktionen, die von Amazon S3 oder einem anderen AWS-Service im Namen des Benutzers ausgeführt werden, enthält diese Spalte einen Nullwert.

request_id

 Nein Zeichenfolge

Die Anforderungs-ID, die mit dieser Anforderung verknüpft ist.