Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

OpenX JSON SerDe

Wie Hive JSON SerDe können Sie OpenX JSON zur Verarbeitung von JSON-Daten verwenden. Die Daten werden auch als einzeilige Zeichenfolgen aus JSON-codiertem Text dargestellt, die durch eine neue Zeile getrennt sind. Wie der Hive JSON SerDe erlaubt der OpenX JSON SerDe keine doppelten Schlüssel in map- oder struct-Schlüsselnamen.

Überlegungen und Einschränkungen

Optionale Eigenschaften

Im Gegensatz zu Hive JSON SerDe verfügt OpenX JSON SerDe auch über die folgenden optionalen SerDe-Eigenschaften, die für die Behebung von Daten-Inkonsistenzen nützlich sein können.

Beispiel: Werbedaten

In der folgenden DDL-Anweisung wird der OpenX JSON SerDe verwendet, um eine Tabelle zu erstellen, die auf denselben Beispiel-Online-Werbedaten basiert, die im Beispiel für Hive JSON SerDe verwendet wurden. Ersetzen Sie in der LOCATION-Klausel myregion durch die Kennung der Region, in der Sie Athena ausführen.

CREATE EXTERNAL TABLE impressions (
    requestbegintime string,
    adid string,
    impressionId string,
    referrer string,
    useragent string,
    usercookie string,
    ip string,
    number string,
    processid string,
    browsercokie string,
    requestendtime string,
    timers struct<
       modellookup:string, 
       requesttime:string>,
    threadid string, 
    hostname string,
    sessionid string
)   PARTITIONED BY (dt string)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://amzn-s3-demo-bucket.elasticmapreduce/samples/hive-ads/tables/impressions';

Beispiel: Deserialisierung von verschachteltem JSON

Sie können die JSON-SerDes verwenden, um komplexere JSON-codierte Daten zu analysieren. Dies erfordert die Verwendung von CREATE TABLE-Anweisungen, die struct- und array- Elemente verwenden, um verschachtelte Strukturen darzustellen.

Im folgenden Beispiel wird eine Athena-Tabelle aus JSON-Daten mit verschachtelten Strukturen erstellt. Das Beispiel hat die folgende Struktur:

{
"DocId": "AWS",
"User": {
        "Id": 1234,
        "Username": "carlos_salazar", 
        "Name": "Carlos",
"ShippingAddress": {
"Address1": "123 Main St.",
"Address2": null,
"City": "Anytown",
"State": "CA"
   },
"Orders": [
   {
     "ItemId": 6789,
     "OrderDate": "11/11/2022" 
   },
   {
     "ItemId": 4352,
     "OrderDate": "12/12/2022"
   }
  ]
 }
}

Beachten Sie, dass OpenX SerDe erwartet, dass jeder JSON-Datensatz in einer einzelnen Textzeile steht. Wenn sie in Amazon S3 gespeichert sind, sollten sich alle Daten im vorherigen Beispiel in einer einzigen Zeile befinden, etwa so:

{"DocId":"AWS","User":{"Id":1234,"Username":"carlos_salazar","Name":"Carlos","ShippingAddress" ...

Die folgende CREATE TABLE-Anweisung verwendet OpenX-JsonSerDe mit den Sammlungsdatentypen struct und array, um Objektgruppen für die Beispieldaten einzurichten.

CREATE external TABLE complex_json (
   docid string,
   `user` struct<
               id:INT,
               username:string,
               name:string,
               shippingaddress:struct<
                                      address1:string,
                                      address2:string,
                                      city:string,
                                      state:string
                                      >,
               orders:array<
                            struct<
                                 itemid:INT,
                                  orderdate:string
                                  >
                              >
               >
   )
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://amzn-s3-demo-bucket/myjsondata/';

Um die Tabelle abzufragen, verwenden Sie eine SELECT-Anweisung wie die folgende.

SELECT 
 user.name as Name, 
 user.shippingaddress.address1 as Address, 
 user.shippingaddress.city as City, 
 o.itemid as Item_ID, o.orderdate as Order_date
FROM complex_json, UNNEST(user.orders) as temp_table (o)

Um auf die Datenfelder innerhalb von Strukturen zuzugreifen, verwendet die Beispielabfrage die Punktnotation (z. B. user.name). Um auf Daten innerhalb eines Arrays von Strukturen zuzugreifen (wie beim orders-Feld), können Sie die UNNEST-Funktion verwenden. Die UNNEST-Funktion flacht das Array zu einer temporären Tabelle ab (in diesem Fall mit dem Namen o). Auf diese Weise können Sie die Punktnotation wie bei Strukturen verwenden, um auf die nicht verschachtelten Array-Elemente zuzugreifen (z. B. o.itemid). Der Name temp_table, der im Beispiel zur Veranschaulichung verwendet wird, wird häufig als t abgekürzt.

In der folgenden Tabelle werden die Anfrageergebnisse angezeigt.