Riferimento alla SerDe proprietà Amazon Ion

Facoltativo

Impostazione predefinita: BINARY

Valori: BINARY, TEXT

Questa proprietà dichiara se i nuovi valori aggiunti sono serializzati come Amazon Ion o in formato testo Amazon Ion.

Il seguente esempio di SerDe proprietà specifica il formato di testo di Amazon Ion.

'ion.encoding' = 'TEXT'

Facoltativo

Impostazione predefinita: true

Valori: true, false

Al contrario di Hive, Amazon Ion consente di utilizzare tipi numerici arbitrariamente grandi. Per impostazione predefinita, SerDe fallisce se il valore di Amazon Ion non rientra nella colonna Hive, ma puoi utilizzare l'opzione di fail_on_overflow configurazione per lasciare che il valore si sovrapponga invece di fallire.

Questa proprietà può essere impostata a livello di tabella o colonna. Per specificarla a livello di tabella, occorre specificare ion.fail_on_overflow come nell'esempio seguente. Questo imposta di default il comportamento per tutte le colonne.

'ion.fail_on_overflow' = 'true'

Per controllare una colonna specifica, specifica il nome della colonna tra ion e fail_on_overflow, delimitato da punti, come nell'esempio seguente.

'ion.<column>.fail_on_overflow' = 'false'

Facoltativo

Impostazione predefinita: false

Valori: true, false

Determina se trattare i nomi dei campi Amazon Ion come maiuscole e minuscole. Quandofalse, SerDe ignora l'analisi delle maiuscole e minuscole dei nomi dei campi di Amazon Ion.

Ad esempio, supponiamo di avere uno schema di tabella Hive che definisce un campo alias in minuscolo e un documento Amazon Ion con entrambi i campi alias e ALIAS, come nell'esempio seguente.

-- Hive Table Schema
alias: STRING

-- Amazon Ion Document
{ 'ALIAS': 'value1'} 
{ 'alias': 'value2'}

L'esempio seguente mostra le SerDe proprietà e la tabella estratta risultante quando la distinzione tra maiuscole e minuscole è impostata su: false

-- Serde properties
'ion.alias.path_extractor' = '(alias)'
'ion.path_extractor.case_sensitive' = 'false'

--Extracted Table
| alias    |
|----------|
| "value1" |
| "value2" |

L'esempio seguente mostra le SerDe proprietà e la tabella estratta risultante quando la distinzione tra maiuscole e minuscole è impostata su: true

-- Serde properties
'ion.alias.path_extractor' = '(alias)'
'ion.path_extractor.case_sensitive' = 'true'

--Extracted Table
| alias    |
|----------|
| "value2" |

Nel secondo caso, il valore value1 per il campo ALIAS viene ignorato quando la sensibilità tra maiuscole e minuscole è impostata su true e l'estrattore del percorso è specificato come alias.

Facoltativo

Valore predefinito: NA

Valori: stringa con percorso di ricerca

Crea un estrattore di percorso con il percorso di ricerca specificato per la colonna data. Gli estrattori di percorso mappano i campi Amazon Ion alle colonne Hive. Se non vengono specificati estrattori di percorso, Athena li crea dinamicamente in fase di esecuzione in base ai nomi delle colonne.

Il seguente esempio di estrattore di percorso mappa il example_ion_field al example_hive_column.

'ion.example_hive_column.path_extractor' = '(example_ion_field)'

Per ulteriori informazioni sugli estrattori di percorso e i percorsi di ricerca, consulta Usa estrattori di percorsi.

Facoltativo

Impostazione predefinita: 'Z'

Valori: OFFSET, dove OFFSET è rappresentato come <signal>hh:mm. Valori di esempio: 01:00, +01:00, -09:30, Z (UTC 00:00)

A differenza dei timestamp di Apache Hive, che non hanno un fuso orario integrato e sono memorizzati come offset rispetto all'UNIX epoch, i timestamp Amazon Ion hanno un offset. Utilizza questa proprietà per specificare l'offset quando esegui la serializzazione su Amazon Ion.

L'esempio seguente aggiunge un offset di un'ora.

'ion.timestamp.serialization_offset' = '+01:00'       

Facoltativo

Impostazione predefinita: OMIT

Valori: OMIT, UNTYPED, TYPED

Amazon Ion SerDe può essere configurato per serializzare o omettere colonne con valori nulli. È possibile scegliere di scrivere null fortemente tipizzati (TYPED) o null non tipizzati (UNTYPED). I null fortemente tipizzati vengono determinati in base alla mappatura predefinita di tipo Amazon Ion to Hive.

L'esempio seguente specifica i valori null fortemente tipizzati.

'ion.serialize_null'='TYPED'

Facoltativo

Impostazione predefinita: false

Valori: true, false

Whentrue, ignora le voci non corrette o l'intero file se non SerDe è in grado di leggerlo. Per ulteriori informazioni, consulta Ignore malformed nella documentazione su. GitHub

Facoltativo

Predefinito: tipo predefinito per la colonna.

Valori: stringa contenente il tipo Amazon Ion

Determina il tipo di dati Amazon Ion in cui viene serializzato un valore. Poiché i tipi Amazon Ion e Hive non hanno sempre una mappatura diretta, alcuni tipi di Hive hanno più tipi di dati validi per la serializzazione. Per serializzare i dati come tipo di dati non di default, utilizzare questa proprietà. Per ulteriori informazioni sulla mappatura dei tipi, consulta la pagina di mappatura dei tipi di Amazon Ion su. GitHub

Le colonne binarie Hive sono serializzate di default come BLOB Amazon Ion, ma possono anche essere serializzate come CLOB Amazon Ion (oggetto carattere grande). L'esempio seguente serializza la colonna example_hive_binary_column come un CLOB.

'ion.example_hive_binary_column.serialize_as' = 'clob'