Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Beispiel für Abfragen von Metadatentabellen

Die folgenden Beispiele zeigen, wie Sie mithilfe von Standard-SQL-Abfragen Informationen verschiedener Typen aus Ihren S3-Metadata-Tabellen abrufen können.

Denken Sie an Folgendes, wenn Sie diese Beispiele verwenden:

Beispielabfragen für Journaltabellen

Sie können die folgenden Beispielabfragen verwenden, um Ihre Journaltabellen abzufragen.

Suchen von Objekten anhand der Dateierweiterung

Die folgende Abfrage gibt Objekte mit einer bestimmten Dateierweiterung zurück (.jpgin diesem Fall):

SELECT key FROM "s3tablescatalog/aws-s3"."b_general-purpose-bucket-name"."journal"
WHERE key LIKE '%.jpg'
AND record_type = 'CREATE'

Auflisten von Objektlöschungen

Die folgende Abfrage gibt Ereignisse zum Löschen von Objekten zurück, einschließlich der AWS-Konto ID oder des AWS Dienstprinzipals, der die Anfrage gestellt hat:

SELECT DISTINCT bucket, key, sequence_number, record_type, record_timestamp, requester, source_ip_address, version_id
FROM "s3tablescatalog/aws-s3"."b_general-purpose-bucket-name"."journal"
WHERE record_type = 'DELETE';

Listet die von Ihren Objekten verwendeten AWS KMS Verschlüsselungsschlüssel auf

Die folgende Abfrage gibt die ARNs Schlüssel AWS Key Management Service (AWS KMS) zurück, die Ihre Objekte verschlüsseln:

SELECT DISTINCT kms_key_arn
FROM "s3tablescatalog/aws-s3"."b_general-purpose-bucket-name"."journal";

Auflisten von Objekten, die keine KMS-Schlüssel verwenden

Die folgende Abfrage gibt Objekte zurück, die nicht mit AWS KMS Schlüsseln verschlüsselt sind:

SELECT DISTINCT kms_key_arn
FROM "s3tablescatalog/aws-s3"."b_general-purpose-bucket-name"."journal"
WHERE encryption_status NOT IN ('SSE-KMS', 'DSSE-KMS')
AND record_type = 'CREATE';

Listet die AWS KMS Verschlüsselungsschlüssel auf, die in den letzten 7 Tagen für PUT Operationen verwendet wurden

Die folgende Abfrage gibt die ARNs Schlüssel AWS Key Management Service (AWS KMS) zurück, mit denen Ihre Objekte verschlüsselt wurden:

SELECT DISTINCT kms_key_arn 
FROM "s3tablescatalog/aws-s3"."b_general-purpose-bucket-name"."journal"
WHERE record_timestamp > (current_date - interval '7' day)
AND kms_key_arn is NOT NULL;

Listet Objekte auf, die in den letzten 24 Stunden von S3 Lifecycle gelöscht wurden

Die folgende Abfrage gibt eine Liste der Objekte zurück, die am letzten Tag von S3 Lifecycle abgelaufen sind:

SELECT bucket, key, version_id, last_modified_date, record_timestamp, requester
FROM "s3tablescatalog/aws-s3"."b_general-purpose-bucket-name"."journal"
WHERE requester = 's3.amazonaws.com'
AND record_type = 'DELETE' 
AND record_timestamp > (current_date - interval '1' day)

Anzeigen von Metadaten, die von Amazon Bedrock bereitgestellt wurden

Einige AWS Dienste (wie Amazon Bedrock) laden Objekte auf Amazon S3 hoch. Sie können die von diesen Diensten bereitgestellten Objektmetadaten abfragen. Die folgende Abfrage enthält beispielsweise die user_metadata Spalte, um zu ermitteln, ob es Objekte gibt, die von Amazon Bedrock in einen Allzweck-Bucket hochgeladen wurden:

SELECT DISTINCT bucket, key, sequence_number, record_type, record_timestamp, user_metadata
FROM "s3tablescatalog/aws-s3"."b_general-purpose-bucket-name"."journal"
WHERE record_type = 'CREATE'
AND user_metadata['content-source'] = 'AmazonBedrock';

Wenn Amazon Bedrock ein Objekt in Ihren Bucket hochgeladen hat, werden in der user_metadata-Spalte die folgenden Metadaten angezeigt, die mit dem Objekt im Abfrageergebnis verknüpft sind:

user_metadata
{content-additional-params -> requestid="CVK8FWYRW0M9JW65", signedContentSHA384="38b060a751ac96384cd9327eb1b1e36a21fdb71114be07434c0cc7bf63f6e1da274edebfe76f65fbd51ad2f14898b95b", content-model-id -> bedrock-model-arn, content-source -> AmazonBedrock}

Verstehen des derzeitigen Status Ihrer Objekte

Die folgende Abfrage kann Ihnen helfen, den aktuellen Status Ihrer Objekte zu bestimmen. Die Abfrage identifiziert die neueste Version jedes Objekts, filtert gelöschte Objekte heraus und markiert die neueste Version jedes Objekts anhand von Sequenznummern. Die Ergebnisse sind nach den Spalten bucket, key und sequence_number sortiert.

WITH records_of_interest as (
   -- Start with a query that can narrow down the records of interest.
    SELECT * from "s3tablescatalog/aws-s3"."b_general-purpose-bucket-name"."journal"
),

version_stacks as (
   SELECT *,
          -- Introduce a column called 'next_sequence_number', which is the next larger
          -- sequence_number for the same key version_id in sorted order.
          LEAD(sequence_number, 1) over (partition by (bucket, key, coalesce(version_id, '')) order by sequence_number ASC) as next_sequence_number
   from records_of_interest
),

-- Pick the 'tip' of each version stack triple: (bucket, key, version_id).
-- The tip of the version stack is the row of that triple with the largest sequencer.
-- Selecting only the tip filters out any row duplicates.
-- This isn't typical, but some events can be delivered more than once to the table
-- and include rows that might no longer exist in the bucket (since the
-- table contains rows for both extant and extinct objects).
-- In the next subquery, eliminate the rows that contain deleted objects.
current_versions as (
    SELECT * from version_stacks where next_sequence_number is NULL
),

-- Eliminate the rows that are extinct from the bucket by filtering with
-- record_type. An object version has been deleted from the bucket if its tip is
-- record_type==DELETE.
existing_current_versions as (
    SELECT * from current_versions where not (record_type = 'DELETE' and is_delete_marker = FALSE)
),

-- Optionally, to determine which of several object versions is the 'latest',
-- you can compare their sequence numbers. A version_id is the latest if its
-- tip's sequencer is the largest among all other tips in the same key.
with_is_latest as (
    SELECT *,
           -- Determine if the sequence_number of this row is the same as the largest sequencer for the key that still exists.
           sequence_number = (MAX(sequence_number) over (partition by (bucket, key))) as is_latest_version
    FROM existing_current_versions
)

SELECT * from with_is_latest
ORDER BY bucket, key, sequence_number;

Beispielabfragen zur Inventartabelle

Sie können die folgenden Beispielabfragen verwenden, um Ihre Inventartabellen abzufragen.

Entdecken Sie Datensätze, die bestimmte Tags verwenden

Die folgende Abfrage gibt den Datensatz zurück, der die angegebenen Tags verwendet:

SELECT * 
FROM "s3tablescatalog/aws-s3"."b_general-purpose-bucket-name"."inventory"
WHERE object_tags['key1'] = 'value1'
AND object_tags['key2'] = 'value2';

Auflisten von Objekten, die nicht mit SSE-KMS verschlüsselt sind

Die folgende Abfrage gibt Objekte zurück, die nicht mit SSE-KMS verschlüsselt sind:

SELECT key, encryption_status 
FROM "s3tablescatalog/aws-s3"."b_general-purpose-bucket-name"."inventory"
WHERE encryption_status != 'SSE-KMS';

Objekte auflisten, die nicht verschlüsselt sind

Die folgende Abfrage gibt Objekte zurück, die nicht verschlüsselt sind:

SELECT bucket, key, version_id  
FROM "s3tablescatalog/aws-s3"."b_general-purpose-bucket-name"."inventory"
WHERE encryption_status IS NULL;

Auflisten von Objekten, die von Amazon Bedrock generiert wurden

Die folgende Abfrage listet Objekte auf, die von Amazon Bedrock generiert wurden:

SELECT DISTINCT bucket, key, sequence_number, user_metadata
FROM "s3tablescatalog/aws-s3"."b_general-purpose-bucket-name"."inventory"
WHERE user_metadata['content-source'] = 'AmazonBedrock';

Abgleich der Inventartabelle mit der Journaltabelle

Die folgende Abfrage generiert eine inventory-table-like Liste, die dem aktuellen Inhalt des Buckets entspricht. Genauer gesagt kombiniert die resultierende Liste den letzten Snapshot der Inventartabelle mit den neuesten Ereignissen in der Journaltabelle.

Damit diese Abfrage die genauesten Ergebnisse liefert, müssen sowohl die Journal- als auch die Inventartabelle den Status Aktiv haben.

Wir empfehlen, diese Abfrage für allgemeine Buckets mit weniger als einer Milliarde (10^9) Objekten zu verwenden.

Diese Beispielabfrage wendet die folgenden Vereinfachungen auf die Listenergebnisse an (im Vergleich zur Inventartabelle):

Um diese Abfrage in Amazon Athena auszuführen, stellen Sie sicher, dass Sie den s3tablescatalog/aws-s3 Katalog und die b_general-purpose-bucket-name Datenbank für die allgemeine Bucket-Metadatenkonfiguration auswählen, die Ihre Journal- und Inventartabellen enthält.

WITH inventory_time_cte AS (
    SELECT COALESCE(inventory_time_from_property, inventory_time_default) AS inventory_time FROM
    (
      SELECT * FROM
        (VALUES (TIMESTAMP '2024-12-01 00:00')) AS T (inventory_time_default)
      LEFT OUTER JOIN
        (
         SELECT from_unixtime(CAST(value AS BIGINT) / 1000.0) AS inventory_time_from_property FROM "journal$properties"
         WHERE key = 'aws.s3metadata.oldest-uncoalesced-record-timestamp' LIMIT 1
        )
      ON TRUE
    )
),

working_set AS (
    SELECT
        key,
        sequence_number,
        version_id,
        is_delete_marker,
        size,
        COALESCE(last_modified_date, record_timestamp) AS last_modified_date,
        e_tag,
        storage_class,
        object_tags,
        user_metadata,
        (record_type = 'DELETE' AND NOT COALESCE(is_delete_marker, FALSE)) AS _is_perm_delete
    FROM journal j
    CROSS JOIN inventory_time_cte t
    WHERE j.record_timestamp > (t.inventory_time - interval '15' minute)

    UNION ALL

    SELECT
        key,
        sequence_number,
        version_id,
        is_delete_marker,
        size,
        last_modified_date,
        e_tag,
        storage_class,
        object_tags,
        user_metadata,
        FALSE AS _is_perm_delete
    FROM inventory i
),

updated_inventory AS (
    SELECT * FROM (
        SELECT *,
            MAX(sequence_number) OVER (PARTITION BY key, version_id) AS _supremum_sn
        FROM working_set
    )
    WHERE sequence_number = _supremum_sn
)

SELECT
    key,
    sequence_number,
    version_id,
    is_delete_marker,
    size,
    last_modified_date,
    e_tag,
    storage_class,
    object_tags,
    user_metadata
FROM updated_inventory
-- This filter omits only permanent deletes from the results. Delete markers will still be shown.
WHERE NOT _is_perm_delete
-- You can add additional filters here. Examples:
--    AND object_tags['department'] = 'billing'
--    AND starts_with(key, 'reports/')
ORDER BY key ASC, sequence_number DESC;

Finden Sie die aktuellen Versionen Ihrer Objekte

Die folgende Abfrage verwendet die Inventartabelle, um eine neue Ausgabetabelle zu generieren, die zeigt, welche Objektversionen aktuell sind. Die Ausgabetabelle ähnelt bewusst einem S3-Inventarbericht. Die Ausgabetabelle enthält ein is_latest Feld, das angibt, ob es sich bei einem Objekt um die aktuelle Version handelt. Das is_latest Feld entspricht dem IsLatestFeld in einem S3-Inventarbericht.

Diese Abfrage funktioniert für Allzweck-Buckets, bei denen die S3-Versionierung aktiviert oder die Versionierung ausgesetzt ist.

Voraussetzungen

Die Abfrage gibt die Ergebnisse in einer neuen S3-Tabelle aus, um weitere Abfragen zu unterstützen und eine höhere Leistung als bei der Ausgabe von Zeilen auf dem Bildschirm zu erzielen. Stellen Sie daher vor dem Ausführen dieser Abfrage sicher, dass Sie die folgenden Bedingungen erfüllt haben. Wenn Sie die Ergebnisse nicht in einer neuen Tabelle ausgeben möchten, können Sie diese Schritte überspringen.

Um diese Abfrage zu verwenden, amzn-s3-demo-table-bucket ersetzen Sie sie durch den Namen des vorhandenen kundenverwalteten Tabellen-Buckets, in dem die neue Ausgabetabelle erstellt werden soll. existing_namespaceErsetzen Sie es durch den Namen des Namespaces, in dem die Ausgabetabelle in Ihrem Tabellen-Bucket erstellt werden soll. new_tableErsetzen Sie es durch den Namen, den Sie für die Ausgabetabelle verwenden möchten. Stellen Sie sicher, dass der Name Ihrer Ausgabetabelle den Benennungsregeln für Tabellen entspricht.

Um diese Abfrage in Amazon Athena auszuführen, stellen Sie sicher, dass Sie den s3tablescatalog/aws-s3 Katalog und die b_general-purpose-bucket-name Datenbank für die allgemeine Bucket-Metadatenkonfiguration auswählen, die Ihre Inventartabelle enthält.

-- If you don't want to output the results to a new table, remove the following two lines 
-- (everything before the WITH clause). 
CREATE TABLE "s3tablescatalog/amzn-s3-demo-table-bucket"."existing_namespace"."new_table" 
as (
WITH 
my_inventory AS (
  SELECT 
        bucket,
        key,
        version_id,
        sequence_number,
        is_delete_marker,
        size,
        last_modified_date,
        storage_class
  FROM inventory
-- For prefix filtering, use a WHERE clause with % at the end.
--     WHERE key LIKE 'prefix%'
  ),
 
inventory_with_is_latest as (
SELECT *,
       ROW_NUMBER() OVER (
         PARTITION BY key 
         ORDER BY sequence_number DESC
       ) = 1 AS is_latest
FROM my_inventory
    )

SELECT
        bucket,
        key,
        version_id,
        sequence_number,
        is_delete_marker,
        size,
        last_modified_date,
        storage_class,
        is_latest

FROM inventory_with_is_latest

-- If you want only the current version of each key, uncomment the following WHERE clause.
-- WHERE is_latest = TRUE
-- If you aren't outputting the results to a new table, remove the next line: 
);