Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

OpenX JSON SerDe

Wie Hive JSON können Sie OpenX JSON verwenden SerDe, um JSON-Daten zu verarbeiten. Die Daten werden auch als einzeilige Zeichenfolgen aus JSON-codiertem Text dargestellt, die durch eine neue Zeile getrennt sind. Wie der Hive-JSON SerDe erlaubt der OpenX-JSON SerDe keine doppelten Schlüssel map oder struct Schlüsselnamen.

Überlegungen und Einschränkungen

Optionale Eigenschaften

Im Gegensatz zum Hive-JSON SerDe verfügt das OpenX-JSON SerDe auch über die folgenden optionalen SerDe Eigenschaften, die nützlich sein können, um Inkonsistenzen in Daten zu beheben.

Beispiel: Werbedaten

In der folgenden DDL-Beispielanweisung wird OpenX JSON verwendet SerDe , um eine Tabelle zu erstellen, die auf denselben Beispieldaten für Online-Werbung basiert, die im Beispiel für Hive JSON verwendet wurden. SerDe Ersetzen Sie in der LOCATION Klausel myregion durch die Regionskennung, in der Sie Athena ausführen.

CREATE EXTERNAL TABLE impressions (
    requestbegintime string,
    adid string,
    impressionId string,
    referrer string,
    useragent string,
    usercookie string,
    ip string,
    number string,
    processid string,
    browsercokie string,
    requestendtime string,
    timers struct<
       modellookup:string, 
       requesttime:string>,
    threadid string, 
    hostname string,
    sessionid string
)   PARTITIONED BY (dt string)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://amzn-s3-demo-bucket.elasticmapreduce/samples/hive-ads/tables/impressions';

Beispiel: Deserialisierung von verschachteltem JSON

Sie können das JSON verwenden, SerDes um komplexere JSON-kodierte Daten zu analysieren. Dies erfordert die Verwendung von CREATE TABLE-Anweisungen, die struct- und array- Elemente verwenden, um verschachtelte Strukturen darzustellen.

Im folgenden Beispiel wird eine Athena-Tabelle aus JSON-Daten mit verschachtelten Strukturen erstellt. Das Beispiel hat die folgende Struktur:

{
"DocId": "AWS",
"User": {
        "Id": 1234,
        "Username": "carlos_salazar", 
        "Name": "Carlos",
"ShippingAddress": {
"Address1": "123 Main St.",
"Address2": null,
"City": "Anytown",
"State": "CA"
   },
"Orders": [
   {
     "ItemId": 6789,
     "OrderDate": "11/11/2022" 
   },
   {
     "ItemId": 4352,
     "OrderDate": "12/12/2022"
   }
  ]
 }
}

Denken Sie daran, dass OpenX SerDe erwartet, dass sich jeder JSON-Datensatz in einer einzigen Textzeile befindet. Wenn sie in Amazon S3 gespeichert sind, sollten sich alle Daten im vorherigen Beispiel in einer einzigen Zeile befinden, etwa so:

{"DocId":"AWS","User":{"Id":1234,"Username":"carlos_salazar","Name":"Carlos","ShippingAddress" ...

In der folgenden CREATE TABLE Anweisung werden die Datentypen Openx- JsonSerDe with the struct und array collection verwendet, um Objektgruppen für die Beispieldaten zu erstellen.

CREATE external TABLE complex_json (
   docid string,
   `user` struct<
               id:INT,
               username:string,
               name:string,
               shippingaddress:struct<
                                      address1:string,
                                      address2:string,
                                      city:string,
                                      state:string
                                      >,
               orders:array<
                            struct<
                                 itemid:INT,
                                  orderdate:string
                                  >
                              >
               >
   )
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://amzn-s3-demo-bucket/myjsondata/';

Verwenden Sie eine SELECT Anweisung wie die folgende, um die Tabelle abzufragen.

SELECT 
 user.name as Name, 
 user.shippingaddress.address1 as Address, 
 user.shippingaddress.city as City, 
 o.itemid as Item_ID, o.orderdate as Order_date
FROM complex_json, UNNEST(user.orders) as temp_table (o)

Um auf die Datenfelder innerhalb von Strukturen zuzugreifen, verwendet die Beispielabfrage die Punktnotation (z. B.user.name). Um auf Daten innerhalb eines Arrays von Strukturen zuzugreifen (wie beim orders Feld), können Sie die UNNEST Funktion verwenden. Die UNNEST Funktion reduziert das Array in eine temporäre Tabelle (in diesem Fall aufgerufen). o Auf diese Weise können Sie die Punktnotation wie bei Strukturen verwenden, um auf die nicht verschachtelten Array-Elemente zuzugreifen (z. B.). o.itemid Der Nametemp_table, der im Beispiel zur Veranschaulichung verwendet wird, wird häufig als abgekürzt. t

Die folgende Tabelle zeigt die Abfrageergebnisse.