Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Classe FillWithMode
La trasformazione FillWithMode formatta una colonna secondo il formato del numero di telefono specificato. È inoltre possibile specificare la logica di spareggio, in cui alcuni dei valori sono identici. Considerare, ad esempio, i seguenti valori: 1 2 2 3 3 4
Un modeType MINIMUM porta FillWithMode a restituire 2 come valore della modalità. Se modeType è MAXIMUM, la modalità è 3. Per AVERAGE, la modalità è 2,5.
Esempio
from awsglue.context import * from pyspark.sql import SparkSession from awsgluedi.transforms import * sc = SparkContext() spark = SparkSession(sc) input_df = spark.createDataFrame( [ (105.111, 13.12), (1055.123, 13.12), (None, 13.12), (13.12, 13.12), (None, 13.12), ], ["source_column_1", "source_column_2"], ) try: df_output = data_quality.FillWithMode.apply( data_frame=input_df, spark_context=sc, source_column="source_column_1", mode_type="MAXIMUM" ) df_output.show() except: print("Unexpected Error happened ") raise
Output
L'output del codice dato sarà:
``` +---------------+---------------+ |source_column_1|source_column_2| +---------------+---------------+ | 105.111| 13.12| | 1055.123| 13.12| | 1055.123| 13.12| | 13.12| 13.12| | 1055.123| 13.12| +---------------+---------------+ ```
La trasformazione FillWithMode dal modulo `awsglue.data_quality` viene applicata al DataFrame `input_df`. Sostituisce i valori `null` nella colonna source_column_1 con il valore massimo (`mode_type=“maximum”`) dei valori non null in quella colonna.
In questo caso, il valore massimo nella colonna source_column_1 è `1055.123`. Di conseguenza, i valori `null` in source_column_1 vengono sostituiti da `1055.123` nel DataFrame di output `df_output`.
Metodi
__call__(spark_context, data_frame, source_column, mode_type)
La trasformazione FillWithMode modifica la formattazione delle stringhe in una colonna.
-
source_column: il nome di una colonna esistente. -
mode_type: come risolvere i valori pari nei dati. Questo valore deve essere uno dei seguenti:MINIMUM,NONE,AVERAGEoMAXIMUM.
apply(cls, *args, **kwargs)
Ereditato da GlueTransform apply.
name(cls)
Ereditato da GlueTransform nome.
describeArgs(cls)
Ereditato da GlueTransform describeArgs.
describeReturn(cls)
Ereditato da GlueTransform describeReturn.
describeTransform(cls)
Ereditato da GlueTransform describeTransform.
describeErrors(cls)
Ereditato da GlueTransform describeErrors.
describe(cls)
Ereditato da GlueTransform describe.