Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Pemrograman skrip AWS Glue ETL dalam Scala
Anda dapat menemukan contoh kode Scala dan utilitas untuk AWS Glue dalam [repositori AWS Glue sampel](https://github.com/awslabs/aws-glue-samples) di situs web. GitHub
AWS Glue mendukung perpanjangan dialek PySpark Scala untuk pekerjaan scripting extract, transform, and load (ETL). Bagian berikut menjelaskan cara menggunakan pustaka AWS Glue Scala dan AWS Glue API dalam skrip ETL, dan menyediakan dokumentasi referensi untuk pustaka.
**Contents**
+ [Menggunakan Scala](glue-etl-scala-using.md)
+ [Menguji pada DevEndpoint notebook](glue-etl-scala-using.md#aws-glue-programming-scala-using-notebook)
+ [Pengujian pada DevEndpoint REPL](glue-etl-scala-using.md#aws-glue-programming-scala-using-repl)
+ [Contoh skrip scala](glue-etl-scala-example.md)
+ [Daftar API Scala](glue-etl-scala-apis.md)
+ [com.amazonaws.services.glue](glue-etl-scala-apis.md#glue-etl-scala-apis-glue)
+ [com.amazonaws.services.glue.ml\$1](glue-etl-scala-apis.md#glue-etl-scala-apis-glue-ml)
+ [com.amazonaws.services.glue.dq](glue-etl-scala-apis.md#glue-etl-scala-apis-glue-dq)
+ [com.amazonaws.services.glue.types](glue-etl-scala-apis.md#glue-etl-scala-apis-glue-types)
+ [com.amazonaws.services.glue.util](glue-etl-scala-apis.md#glue-etl-scala-apis-glue-util)
+ [ChoiceOption](glue-etl-scala-apis-glue-choiceoption.md)
+ [ChoiceOption sifat](glue-etl-scala-apis-glue-choiceoption.md#glue-etl-scala-apis-glue-choiceoption-trait)
+ [ChoiceOption objek](glue-etl-scala-apis-glue-choiceoption.md#glue-etl-scala-apis-glue-choiceoption-object)
+ [Terapkan](glue-etl-scala-apis-glue-choiceoption.md#glue-etl-scala-apis-glue-choiceoption-object-def-apply)
+ [ChoiceOptionWithResolver](glue-etl-scala-apis-glue-choiceoption.md#glue-etl-scala-apis-glue-choiceoptionwithresolver-case-class)
+ [MatchCatalogSchemaChoiceOption](glue-etl-scala-apis-glue-choiceoption.md#glue-etl-scala-apis-glue-matchcatalogschemachoiceoption-case-class)
+ [DataSink](glue-etl-scala-apis-glue-datasink-class.md)
+ [writeDynamicFrame](glue-etl-scala-apis-glue-datasink-class.md#glue-etl-scala-apis-glue-datasink-class-defs-writeDynamicFrame)
+ [pyWriteDynamicBingkai](glue-etl-scala-apis-glue-datasink-class.md#glue-etl-scala-apis-glue-datasink-class-defs-pyWriteDynamicFrame)
+ [writeDataFrame](glue-etl-scala-apis-glue-datasink-class.md#glue-etl-scala-apis-glue-datasink-class-defs-writeDataFrame)
+ [pyWriteDataBingkai](glue-etl-scala-apis-glue-datasink-class.md#glue-etl-scala-apis-glue-datasink-class-defs-pyWriteDataFrame)
+ [setCatalogInfo](glue-etl-scala-apis-glue-datasink-class.md#glue-etl-scala-apis-glue-datasink-class-defs-setCatalogInfo)
+ [supportsFormat](glue-etl-scala-apis-glue-datasink-class.md#glue-etl-scala-apis-glue-datasink-class-defs-supportsFormat)
+ [setFormat](glue-etl-scala-apis-glue-datasink-class.md#glue-etl-scala-apis-glue-datasink-class-defs-setFormat)
+ [withFormat](glue-etl-scala-apis-glue-datasink-class.md#glue-etl-scala-apis-glue-datasink-class-defs-withFormat)
+ [setAccumulableSize](glue-etl-scala-apis-glue-datasink-class.md#glue-etl-scala-apis-glue-datasink-class-defs-setAccumulableSize)
+ [getOutputErrorRecordsAccumulable](glue-etl-scala-apis-glue-datasink-class.md#glue-etl-scala-apis-glue-datasink-class-defs-getOutputErrorRecordsAccumulable)
+ [errorsAsDynamicBingkai](glue-etl-scala-apis-glue-datasink-class.md#glue-etl-scala-apis-glue-datasink-class-defs-errorsAsDynamicFrame)
+ [DataSink objek](glue-etl-scala-apis-glue-datasink-class.md#glue-etl-scala-apis-glue-datasink-object)
+ [recordMetrics](glue-etl-scala-apis-glue-datasink-class.md#glue-etl-scala-apis-glue-datasink-object-defs-recordMetrics)
+ [DataSource sifat](glue-etl-scala-apis-glue-datasource-trait.md)
+ [DynamicFrame](glue-etl-scala-apis-glue-dynamicframe.md)
+ [DynamicFrame kelas](glue-etl-scala-apis-glue-dynamicframe-class.md)
+ [errorsCount](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-vals-errorsCount)
+ [applyMapping](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-applyMapping)
+ [assertErrorThreshold](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-assertErrorThreshold)
+ [Hitungan](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-count)
+ [dropField](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-dropField)
+ [dropFields](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-dropFields)
+ [dropNulls](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-dropNulls)
+ [errorsAsDynamicBingkai](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-errorsAsDynamicFrame)
+ [Filter](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-filter)
+ [getName](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-getName)
+ [getNumPartitions](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-getNumPartitions)
+ [getSchemaIfDihitung](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-getSchemaIfComputed)
+ [isSchemaComputed](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-isSchemaComputed)
+ [javaToPython](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-javaToPython)
+ [Join](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-join)
+ [Peta](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-map)
+ [mergeDynamicFrames](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-merge)
+ [printSchema](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-printSchema)
+ [recomputeSchema](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-recomputeSchema)
+ [Relationalize](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-relationalize)
+ [renameField](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-renameField)
+ [Repartisi](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-repartition)
+ [resolveChoice](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-resolveChoice)
+ [Skema](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-schema)
+ [selectField](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-selectField)
+ [selectFields](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-selectFields)
+ [Tampilkan](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-show)
+ [Sederhanakan DDBJson](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-simplifyDDBJson)
+ [Spigot](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-spigot)
+ [splitFields](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-splitFields)
+ [Def SplitRows](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-splitRows)
+ [stageErrorsCount](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-stageErrorsCount)
+ [toDF](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-toDF)
+ [Unbox](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-unbox)
+ [Tidak bersarang](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-unnest)
+ [tidak bersarang DDBJson](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-unnestddbjson)
+ [withFrameSchema](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-withFrameSchema)
+ [Def withName](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-withName)
+ [withTransformationContext](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-withTransformationContext)
+ [DynamicFrame objek](glue-etl-scala-apis-glue-dynamicframe-object.md)
+ [Def berlaku](glue-etl-scala-apis-glue-dynamicframe-object.md#glue-etl-scala-apis-glue-dynamicframe-object-defs-apply)
+ [Def emptyDynamicFrame](glue-etl-scala-apis-glue-dynamicframe-object.md#glue-etl-scala-apis-glue-dynamicframe-object-defs-emptyDynamicFrame)
+ [Def dariPythonRDD](glue-etl-scala-apis-glue-dynamicframe-object.md#glue-etl-scala-apis-glue-dynamicframe-object-defs-fromPythonRDD)
+ [Def IgnoreErrors](glue-etl-scala-apis-glue-dynamicframe-object.md#glue-etl-scala-apis-glue-dynamicframe-object-defs-ignoreErrors)
+ [Def InlineErrors](glue-etl-scala-apis-glue-dynamicframe-object.md#glue-etl-scala-apis-glue-dynamicframe-object-defs-inlineErrors)
+ [Kesalahan Def newFrameWith](glue-etl-scala-apis-glue-dynamicframe-object.md#glue-etl-scala-apis-glue-dynamicframe-object-defs-newFrameWithErrors)
+ [DynamicRecord](glue-etl-scala-apis-glue-dynamicrecord-class.md)
+ [addField](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-addField)
+ [dropField](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-dropField)
+ [setError](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-setError)
+ [isError](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-isError)
+ [getError](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-getError)
+ [clearError](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-clearError)
+ [Tulis](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-write)
+ [readFields](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-readFields)
+ [Klon](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-clone)
+ [Skema](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-schema)
+ [getRoot](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-getRoot)
+ [toJSON](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-toJson)
+ [getFieldNode](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-getFieldNode)
+ [getField](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-getField)
+ [hashCode](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-hashCode)
+ [Sama dengan](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-class-defs-equals)
+ [DynamicRecord objek](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-object)
+ [Terapkan](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-dynamicrecord-object-defs-apply)
+ [RecordTraverser sifat](glue-etl-scala-apis-glue-dynamicrecord-class.md#glue-etl-scala-apis-glue-recordtraverser-trait)
+ [GlueContext](glue-etl-scala-apis-glue-gluecontext.md)
+ [addIngestionTimeKolom](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-addIngestionTimeColumns)
+ [createDataFrameFromOptions](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-createDataFrameFromOptions)
+ [forEachBatch](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-forEachBatch)
+ [getCatalogSink](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-getCatalogSink)
+ [getCatalogSource](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-getCatalogSource)
+ [mendapatkan JDBCSink](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-getJDBCSink)
+ [getSink](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-getSink)
+ [getSinkWithFormat](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-getSinkWithFormat)
+ [getSource](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-getSource)
+ [getSourceWithFormat](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-getSourceWithFormat)
+ [getSparkSession](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-getSparkSession)
+ [MulaiTransaksi](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-start-transaction)
+ [commitTransaction](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-commit-transaction)
+ [Batalkan Transaksi](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-cancel-transaction)
+ [ini](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-this-1)
+ [ini](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-this-2)
+ [ini](glue-etl-scala-apis-glue-gluecontext.md#glue-etl-scala-apis-glue-gluecontext-defs-this-3)
+ [MappingSpec](glue-etl-scala-apis-glue-mappingspec.md)
+ [MappingSpec kelas kasus](glue-etl-scala-apis-glue-mappingspec.md#glue-etl-scala-apis-glue-mappingspec-case-class)
+ [MappingSpec objek](glue-etl-scala-apis-glue-mappingspec.md#glue-etl-scala-apis-glue-mappingspec-object)
+ [orderingByTarget](glue-etl-scala-apis-glue-mappingspec.md#glue-etl-scala-apis-glue-mappingspec-object-val-orderingbytarget)
+ [Terapkan](glue-etl-scala-apis-glue-mappingspec.md#glue-etl-scala-apis-glue-mappingspec-object-defs-apply-1)
+ [Terapkan](glue-etl-scala-apis-glue-mappingspec.md#glue-etl-scala-apis-glue-mappingspec-object-defs-apply-2)
+ [Terapkan](glue-etl-scala-apis-glue-mappingspec.md#glue-etl-scala-apis-glue-mappingspec-object-defs-apply-3)
+ [ResolveSpec](glue-etl-scala-apis-glue-resolvespec.md)
+ [ResolveSpec objek](glue-etl-scala-apis-glue-resolvespec.md#glue-etl-scala-apis-glue-resolvespec-object)
+ [Def](glue-etl-scala-apis-glue-resolvespec.md#glue-etl-scala-apis-glue-resolvespec-object-def-apply_1)
+ [Def](glue-etl-scala-apis-glue-resolvespec.md#glue-etl-scala-apis-glue-resolvespec-object-def-apply_2)
+ [ResolveSpec kelas kasus](glue-etl-scala-apis-glue-resolvespec.md#glue-etl-scala-apis-glue-resolvespec-case-class)
+ [Metode def](glue-etl-scala-apis-glue-resolvespec.md#glue-etl-scala-apis-glue-resolvespec-case-class-defs)
+ [ArrayNode](glue-etl-scala-apis-glue-types-arraynode.md)
+ [ArrayNode kelas kasus](glue-etl-scala-apis-glue-types-arraynode.md#glue-etl-scala-apis-glue-types-arraynode-case-class)
+ [Metode def](glue-etl-scala-apis-glue-types-arraynode.md#glue-etl-scala-apis-glue-types-arraynode-case-class-defs)
+ [BinaryNode](glue-etl-scala-apis-glue-types-binarynode.md)
+ [BinaryNode kelas kasus](glue-etl-scala-apis-glue-types-binarynode.md#glue-etl-scala-apis-glue-types-binarynode-case-class)
+ [Bidang Val](glue-etl-scala-apis-glue-types-binarynode.md#glue-etl-scala-apis-glue-types-binarynode-case-class-vals)
+ [Metode def](glue-etl-scala-apis-glue-types-binarynode.md#glue-etl-scala-apis-glue-types-binarynode-case-class-defs)
+ [BooleanNode](glue-etl-scala-apis-glue-types-booleannode.md)
+ [BooleanNode kelas kasus](glue-etl-scala-apis-glue-types-booleannode.md#glue-etl-scala-apis-glue-types-booleannode-case-class)
+ [Bidang Val](glue-etl-scala-apis-glue-types-booleannode.md#glue-etl-scala-apis-glue-types-booleannode-case-class-vals)
+ [Metode def](glue-etl-scala-apis-glue-types-booleannode.md#glue-etl-scala-apis-glue-types-booleannode-case-class-defs)
+ [ByteNode](glue-etl-scala-apis-glue-types-bytenode.md)
+ [ByteNode kelas kasus](glue-etl-scala-apis-glue-types-bytenode.md#glue-etl-scala-apis-glue-types-bytenode-case-class)
+ [Bidang Val](glue-etl-scala-apis-glue-types-bytenode.md#glue-etl-scala-apis-glue-types-bytenode-case-class-vals)
+ [Metode def](glue-etl-scala-apis-glue-types-bytenode.md#glue-etl-scala-apis-glue-types-bytenode-case-class-defs)
+ [DateNode](glue-etl-scala-apis-glue-types-datenode.md)
+ [DateNode kelas kasus](glue-etl-scala-apis-glue-types-datenode.md#glue-etl-scala-apis-glue-types-datenode-case-class)
+ [Bidang Val](glue-etl-scala-apis-glue-types-datenode.md#glue-etl-scala-apis-glue-types-datenode-case-class-vals)
+ [Metode def](glue-etl-scala-apis-glue-types-datenode.md#glue-etl-scala-apis-glue-types-datenode-case-class-defs)
+ [DecimalNode](glue-etl-scala-apis-glue-types-decimalnode.md)
+ [DecimalNode kelas kasus](glue-etl-scala-apis-glue-types-decimalnode.md#glue-etl-scala-apis-glue-types-decimalnode-case-class)
+ [Bidang Val](glue-etl-scala-apis-glue-types-decimalnode.md#glue-etl-scala-apis-glue-types-decimalnode-case-class-vals)
+ [Metode def](glue-etl-scala-apis-glue-types-decimalnode.md#glue-etl-scala-apis-glue-types-decimalnode-case-class-defs)
+ [DoubleNode](glue-etl-scala-apis-glue-types-doublenode.md)
+ [DoubleNode kelas kasus](glue-etl-scala-apis-glue-types-doublenode.md#glue-etl-scala-apis-glue-types-doublenode-case-class)
+ [Bidang Val](glue-etl-scala-apis-glue-types-doublenode.md#glue-etl-scala-apis-glue-types-doublenode-case-class-vals)
+ [Metode def](glue-etl-scala-apis-glue-types-doublenode.md#glue-etl-scala-apis-glue-types-doublenode-case-class-defs)
+ [DynamicNode](glue-etl-scala-apis-glue-types-dynamicnode.md)
+ [DynamicNode kelas](glue-etl-scala-apis-glue-types-dynamicnode.md#glue-etl-scala-apis-glue-types-dynamicnode-class)
+ [Metode def](glue-etl-scala-apis-glue-types-dynamicnode.md#glue-etl-scala-apis-glue-types-dynamicnode-class-defs)
+ [DynamicNode objek](glue-etl-scala-apis-glue-types-dynamicnode.md#glue-etl-scala-apis-glue-types-dynamicnode-object)
+ [Metode def](glue-etl-scala-apis-glue-types-dynamicnode.md#glue-etl-scala-apis-glue-types-dynamicnode-object-defs)
+ [EvaluateDataQuality](glue-etl-scala-apis-glue-dq-EvaluateDataQuality.md)
+ [apply](glue-etl-scala-apis-glue-dq-EvaluateDataQuality.md#glue-etl-scala-apis-glue-dq-EvaluateDataQuality-defs-apply)
+ [Contoh](glue-etl-scala-apis-glue-dq-EvaluateDataQuality.md#glue-etl-scala-apis-glue-dq-EvaluateDataQuality-example)
+ [FloatNode](glue-etl-scala-apis-glue-types-floatnode.md)
+ [FloatNode kelas kasus](glue-etl-scala-apis-glue-types-floatnode.md#glue-etl-scala-apis-glue-types-floatnode-case-class)
+ [Bidang Val](glue-etl-scala-apis-glue-types-floatnode.md#glue-etl-scala-apis-glue-types-floatnode-case-class-vals)
+ [Metode def](glue-etl-scala-apis-glue-types-floatnode.md#glue-etl-scala-apis-glue-types-floatnode-case-class-defs)
+ [FillMissingValues](glue-etl-scala-apis-glue-ml-fillmissingvalues.md)
+ [Terapkan](glue-etl-scala-apis-glue-ml-fillmissingvalues.md#glue-etl-scala-apis-glue-ml-fillmissingvalues-defs-apply)
+ [FindMatches](glue-etl-scala-apis-glue-ml-findmatches.md)
+ [Terapkan](glue-etl-scala-apis-glue-ml-findmatches.md#glue-etl-scala-apis-glue-ml-findmatches-defs-apply)
+ [FindIncrementalMatches](glue-etl-scala-apis-glue-ml-findincrementalmatches.md)
+ [Terapkan](glue-etl-scala-apis-glue-ml-findincrementalmatches.md#glue-etl-scala-apis-glue-ml-findincrementalmatches-defs-apply)
+ [IntegerNode](glue-etl-scala-apis-glue-types-integernode.md)
+ [IntegerNode kelas kasus](glue-etl-scala-apis-glue-types-integernode.md#glue-etl-scala-apis-glue-types-integernode-case-class)
+ [Bidang Val](glue-etl-scala-apis-glue-types-integernode.md#glue-etl-scala-apis-glue-types-integernode-case-class-vals)
+ [Metode def](glue-etl-scala-apis-glue-types-integernode.md#glue-etl-scala-apis-glue-types-integernode-case-class-defs)
+ [LongNode](glue-etl-scala-apis-glue-types-longnode.md)
+ [LongNode kelas kasus](glue-etl-scala-apis-glue-types-longnode.md#glue-etl-scala-apis-glue-types-longnode-case-class)
+ [Bidang Val](glue-etl-scala-apis-glue-types-longnode.md#glue-etl-scala-apis-glue-types-longnode-case-class-vals)
+ [Metode def](glue-etl-scala-apis-glue-types-longnode.md#glue-etl-scala-apis-glue-types-longnode-case-class-defs)
+ [MapLikeNode](glue-etl-scala-apis-glue-types-maplikenode.md)
+ [MapLikeNode kelas](glue-etl-scala-apis-glue-types-maplikenode.md#glue-etl-scala-apis-glue-types-maplikenode-class)
+ [Metode def](glue-etl-scala-apis-glue-types-maplikenode.md#glue-etl-scala-apis-glue-types-maplikenode-class-defs)
+ [MapNode](glue-etl-scala-apis-glue-types-mapnode.md)
+ [MapNode kelas kasus](glue-etl-scala-apis-glue-types-mapnode.md#glue-etl-scala-apis-glue-types-mapnode-case-class)
+ [Metode def](glue-etl-scala-apis-glue-types-mapnode.md#glue-etl-scala-apis-glue-types-mapnode-case-class-defs)
+ [NullNode](glue-etl-scala-apis-glue-types-nullnode.md)
+ [NullNode kelas](glue-etl-scala-apis-glue-types-nullnode.md#glue-etl-scala-apis-glue-types-nullnode-class)
+ [NullNode objek kasus](glue-etl-scala-apis-glue-types-nullnode.md#glue-etl-scala-apis-glue-types-nullnode-case-object)
+ [ObjectNode](glue-etl-scala-apis-glue-types-objectnode.md)
+ [ObjectNode objek](glue-etl-scala-apis-glue-types-objectnode.md#glue-etl-scala-apis-glue-types-objectnode-object)
+ [Metode def](glue-etl-scala-apis-glue-types-objectnode.md#glue-etl-scala-apis-glue-types-objectnode-object-defs)
+ [ObjectNode kelas kasus](glue-etl-scala-apis-glue-types-objectnode.md#glue-etl-scala-apis-glue-types-objectnode-case-class)
+ [Metode def](glue-etl-scala-apis-glue-types-objectnode.md#glue-etl-scala-apis-glue-types-objectnode-case-class-defs)
+ [ScalarNode](glue-etl-scala-apis-glue-types-scalarnode.md)
+ [ScalarNode kelas](glue-etl-scala-apis-glue-types-scalarnode.md#glue-etl-scala-apis-glue-types-scalarnode-class)
+ [Metode def](glue-etl-scala-apis-glue-types-scalarnode.md#glue-etl-scala-apis-glue-types-scalarnode-class-defs)
+ [ScalarNode objek](glue-etl-scala-apis-glue-types-scalarnode.md#glue-etl-scala-apis-glue-types-scalarnode-object)
+ [Metode def](glue-etl-scala-apis-glue-types-scalarnode.md#glue-etl-scala-apis-glue-types-scalarnode-object-defs)
+ [ShortNode](glue-etl-scala-apis-glue-types-shortnode.md)
+ [ShortNode kelas kasus](glue-etl-scala-apis-glue-types-shortnode.md#glue-etl-scala-apis-glue-types-shortnode-case-class)
+ [Bidang Val](glue-etl-scala-apis-glue-types-shortnode.md#glue-etl-scala-apis-glue-types-shortnode-case-class-vals)
+ [Metode def](glue-etl-scala-apis-glue-types-shortnode.md#glue-etl-scala-apis-glue-types-shortnode-case-class-defs)
+ [StringNode](glue-etl-scala-apis-glue-types-stringnode.md)
+ [StringNode kelas kasus](glue-etl-scala-apis-glue-types-stringnode.md#glue-etl-scala-apis-glue-types-stringnode-case-class)
+ [Bidang Val](glue-etl-scala-apis-glue-types-stringnode.md#glue-etl-scala-apis-glue-types-stringnode-case-class-vals)
+ [Metode def](glue-etl-scala-apis-glue-types-stringnode.md#glue-etl-scala-apis-glue-types-stringnode-case-class-defs)
+ [TimestampNode](glue-etl-scala-apis-glue-types-timestampnode.md)
+ [TimestampNode kelas kasus](glue-etl-scala-apis-glue-types-timestampnode.md#glue-etl-scala-apis-glue-types-timestampnode-case-class)
+ [Bidang Val](glue-etl-scala-apis-glue-types-timestampnode.md#glue-etl-scala-apis-glue-types-timestampnode-case-class-vals)
+ [Metode def](glue-etl-scala-apis-glue-types-timestampnode.md#glue-etl-scala-apis-glue-types-timestampnode-case-class-defs)
+ [GlueArgParser](glue-etl-scala-apis-glue-util-glueargparser.md)
+ [GlueArgParser objek](glue-etl-scala-apis-glue-util-glueargparser.md#glue-etl-scala-apis-glue-util-glueargparser-object)
+ [Metode def](glue-etl-scala-apis-glue-util-glueargparser.md#glue-etl-scala-apis-glue-util-glueargparser-object-defs)
+ [Pekerjaan](glue-etl-scala-apis-glue-util-job.md)
+ [Objek Job](glue-etl-scala-apis-glue-util-job.md#glue-etl-scala-apis-glue-util-job-object)
+ [Metode def](glue-etl-scala-apis-glue-util-job.md#glue-etl-scala-apis-glue-util-job-object-defs)
# Menggunakan Scala untuk memprogram skrip AWS Glue ETL
Anda dapat secara otomatis menghasilkan program ekstrak, transformasi, dan muat (ETL) Scala menggunakan AWS Glue konsol, dan memodifikasinya sesuai kebutuhan sebelum menetapkannya ke pekerjaan. Atau, Anda bisa tulis program Anda sendiri dari scratch. Untuk informasi lebih lanjut, lihat[Mengkonfigurasi properti pekerjaan untuk pekerjaan Spark di AWS Glue](add-job.md). AWS Gluekemudian mengkompilasi program Scala Anda di server sebelum menjalankan pekerjaan terkait.
Untuk memastikan bahwa program Anda dikompilasi tanpa kesalahan dan berjalan seperti yang diharapkan, penting bagi Anda untuk memuatnya pada titik akhir pengembangan di REPL (Read-Eval-Print Loop) atau Notebook Jupyter dan mengujinya di sana sebelum menjalankannya dalam suatu pekerjaan. Karena proses kompilasi terjadi pada server, Anda tidak akan memiliki visibilitas yang baik pada masalah yang terjadi di sana.
## Menguji program Scala ETL di notebook Jupyter pada titik akhir pengembangan
Untuk menguji program Scala pada titik akhir AWS Glue pengembangan, siapkan titik akhir pengembangan seperti yang dijelaskan dalam. [Menambahkan titik akhir pengembangan](add-dev-endpoint.md)
Selanjutnya, sambungkan ke Notebook Jupyter yang berjalan secara lokal di komputer Anda atau dari jarak jauh di server notebook Amazon EC2. Untuk menginstal versi lokal Notebook Jupyter, ikuti petunjuk di. [Tutorial: Notebook Jupyter di JupyterLab](dev-endpoint-tutorial-local-jupyter.md)
Satu-satunya perbedaan antara menjalankan kode Scala dan menjalankan PySpark kode pada Notebook adalah Anda harus memulai setiap paragraf di Notebook dengan yang berikut:
```
%spark
```
Hal ini mencegah server Notebook dari default ke PySpark ragam interpreter Spark.
## Menguji program Scala ETL dalam Scala REPL
Anda dapat menguji program Scala pada titik akhir pengembangan menggunakan AWS Glue Scala REPL. Ikuti instruksi di[Tutorial: Gunakan notebook SageMaker AITutorial: Gunakan shell REPL](dev-endpoint-tutorial-repl.md), kecuali di akhir SSH-to-REPL perintah, ganti `-t gluepyspark` dengan`-t glue-spark-shell`. Ini memanggil AWS Glue Scala REPL.
Untuk menutup REPL setelah Anda selesai, ketik `sys.exit`.
# Contoh skrip scala - streaming ETL
**Example**
Contoh skrip berikut menghubungkan ke Amazon Kinesis Data Streams, menggunakan skema dari Katalog Data untuk mengurai aliran data, menggabungkan pengaliran ke set data statis di Amazon S3, dan meng-output hasil gabungannya ke Amazon S3 dalam format parket.
```
// This script connects to an Amazon Kinesis stream, uses a schema from the data catalog to parse the stream,
// joins the stream to a static dataset on Amazon S3, and outputs the joined results to Amazon S3 in parquet format.
import com.amazonaws.services.glue.GlueContext
import com.amazonaws.services.glue.util.GlueArgParser
import com.amazonaws.services.glue.util.Job
import java.util.Calendar
import org.apache.spark.SparkContext
import org.apache.spark.sql.Dataset
import org.apache.spark.sql.Row
import org.apache.spark.sql.SaveMode
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.from_json
import org.apache.spark.sql.streaming.Trigger
import scala.collection.JavaConverters._
object streamJoiner {
def main(sysArgs: Array[String]) {
val spark: SparkContext = new SparkContext()
val glueContext: GlueContext = new GlueContext(spark)
val sparkSession: SparkSession = glueContext.getSparkSession
import sparkSession.implicits._
// @params: [JOB_NAME]
val args = GlueArgParser.getResolvedOptions(sysArgs, Seq("JOB_NAME").toArray)
Job.init(args("JOB_NAME"), glueContext, args.asJava)
val staticData = sparkSession.read // read() returns type DataFrameReader
.format("csv")
.option("header", "true")
.load("s3://amzn-s3-demo-bucket/inputs/productsStatic.csv") // load() returns a DataFrame
val datasource0 = sparkSession.readStream // readstream() returns type DataStreamReader
.format("kinesis")
.option("streamName", "stream-join-demo")
.option("endpointUrl", "https://kinesis.us-east-1.amazonaws.com")
.option("startingPosition", "TRIM_HORIZON")
.load // load() returns a DataFrame
val selectfields1 = datasource0.select(from_json($"data".cast("string"), glueContext.getCatalogSchemaAsSparkSchema("stream-demos", "stream-join-demo2")) as "data").select("data.*")
val datasink2 = selectfields1.writeStream.foreachBatch { (dataFrame: Dataset[Row], batchId: Long) => { //foreachBatch() returns type DataStreamWriter
val joined = dataFrame.join(staticData, "product_id")
val year: Int = Calendar.getInstance().get(Calendar.YEAR)
val month :Int = Calendar.getInstance().get(Calendar.MONTH) + 1
val day: Int = Calendar.getInstance().get(Calendar.DATE)
val hour: Int = Calendar.getInstance().get(Calendar.HOUR_OF_DAY)
if (dataFrame.count() > 0) {
joined.write // joined.write returns type DataFrameWriter
.mode(SaveMode.Append)
.format("parquet")
.option("quote", " ")
.save("s3://amzn-s3-demo-bucket/output/" + "/year=" + "%04d".format(year) + "/month=" + "%02d".format(month) + "/day=" + "%02d".format(day) + "/hour=" + "%02d".format(hour) + "/")
}
}
} // end foreachBatch()
.trigger(Trigger.ProcessingTime("100 seconds"))
.option("checkpointLocation", "s3://amzn-s3-demo-bucket/checkpoint/")
.start().awaitTermination() // start() returns type StreamingQuery
Job.commit()
}
}
```
# APIs di perpustakaan AWS Glue Scala
AWS Gluemendukung perpanjangan dialek PySpark Scala untuk pekerjaan ekstrak, transformasi, dan pemuatan skrip (ETL). Bagian berikut menjelaskan APIs di perpustakaan AWS Glue Scala.
## com.amazonaws.services.glue
Paket **com.amazonaws.services.glue** di pustaka Scala berisi yang berikut: AWS Glue APIs
+ [ChoiceOption](glue-etl-scala-apis-glue-choiceoption.md)
+ [DataSink](glue-etl-scala-apis-glue-datasink-class.md)
+ [DataSource sifat](glue-etl-scala-apis-glue-datasource-trait.md)
+ [DynamicFrame](glue-etl-scala-apis-glue-dynamicframe.md)
+ [DynamicRecord](glue-etl-scala-apis-glue-dynamicrecord-class.md)
+ [GlueContext](glue-etl-scala-apis-glue-gluecontext.md)
+ [MappingSpec](glue-etl-scala-apis-glue-mappingspec.md)
+ [ResolveSpec](glue-etl-scala-apis-glue-resolvespec.md)
## com.amazonaws.services.glue.ml\$1
Paket **com.amazonaws.services.glue.mldi** pustaka Scala berisi berikut ini: AWS Glue APIs
+ [FillMissingValues](glue-etl-scala-apis-glue-ml-fillmissingvalues.md)
+ [FindIncrementalMatches](glue-etl-scala-apis-glue-ml-findincrementalmatches.md)
+ [FindMatches](glue-etl-scala-apis-glue-ml-findmatches.md)
## com.amazonaws.services.glue.dq
Paket **com.amazonaws.services.glue.dq** di pustaka Scala berisi yang berikut: AWS Glue APIs
+ [EvaluateDataQuality](glue-etl-scala-apis-glue-dq-EvaluateDataQuality.md)
## com.amazonaws.services.glue.types
Paket **com.amazonaws.services.glue.types** di pustaka Scala berisi yang berikut: AWS Glue APIs
+ [ArrayNode](glue-etl-scala-apis-glue-types-arraynode.md)
+ [BinaryNode](glue-etl-scala-apis-glue-types-binarynode.md)
+ [BooleanNode](glue-etl-scala-apis-glue-types-booleannode.md)
+ [ByteNode](glue-etl-scala-apis-glue-types-bytenode.md)
+ [DateNode](glue-etl-scala-apis-glue-types-datenode.md)
+ [DecimalNode](glue-etl-scala-apis-glue-types-decimalnode.md)
+ [DoubleNode](glue-etl-scala-apis-glue-types-doublenode.md)
+ [DynamicNode](glue-etl-scala-apis-glue-types-dynamicnode.md)
+ [FloatNode](glue-etl-scala-apis-glue-types-floatnode.md)
+ [IntegerNode](glue-etl-scala-apis-glue-types-integernode.md)
+ [LongNode](glue-etl-scala-apis-glue-types-longnode.md)
+ [MapLikeNode](glue-etl-scala-apis-glue-types-maplikenode.md)
+ [MapNode](glue-etl-scala-apis-glue-types-mapnode.md)
+ [NullNode](glue-etl-scala-apis-glue-types-nullnode.md)
+ [ObjectNode](glue-etl-scala-apis-glue-types-objectnode.md)
+ [ScalarNode](glue-etl-scala-apis-glue-types-scalarnode.md)
+ [ShortNode](glue-etl-scala-apis-glue-types-shortnode.md)
+ [StringNode](glue-etl-scala-apis-glue-types-stringnode.md)
+ [TimestampNode](glue-etl-scala-apis-glue-types-timestampnode.md)
## com.amazonaws.services.glue.util
Paket **com.amazonaws.services.glue.util** di pustaka Scala berisi yang berikut: AWS Glue APIs
+ [GlueArgParser](glue-etl-scala-apis-glue-util-glueargparser.md)
+ [Pekerjaan](glue-etl-scala-apis-glue-util-job.md)
# AWS GlueScala ChoiceOption APIs
**Topics**
+ [ChoiceOption sifat](#glue-etl-scala-apis-glue-choiceoption-trait)
+ [ChoiceOption objek](#glue-etl-scala-apis-glue-choiceoption-object)
+ [Kelas kasus ChoiceOptionWithResolver](#glue-etl-scala-apis-glue-choiceoptionwithresolver-case-class)
+ [Kelas kasus MatchCatalogSchemaChoiceOption](#glue-etl-scala-apis-glue-matchcatalogschemachoiceoption-case-class)
**Package: com.amazonaws.services.glue**
## ChoiceOption sifat
```
trait ChoiceOption extends Serializable
```
## ChoiceOption objek
**ChoiceOption**
```
object ChoiceOption
```
Strategi umum untuk menyelesaikan pilihan yang berlaku untuk semua simpul `ChoiceType` dalam `DynamicFrame`.
+ `val CAST`
+ `val MAKE_COLS`
+ `val MAKE_STRUCT`
+ `val MATCH_CATALOG`
+ `val PROJECT`
### Def berlaku
```
def apply(choice: String): ChoiceOption
```
## Kelas kasus ChoiceOptionWithResolver
```
case class ChoiceOptionWithResolver(name: String, choiceResolver: ChoiceResolver) extends ChoiceOption {}
```
## Kelas kasus MatchCatalogSchemaChoiceOption
```
case class MatchCatalogSchemaChoiceOption() extends ChoiceOption {}
```
# DataSink Kelas abstrak
**Topics**
+ [Def writeDynamicFrame](#glue-etl-scala-apis-glue-datasink-class-defs-writeDynamicFrame)
+ [Bingkai Def pyWriteDynamic](#glue-etl-scala-apis-glue-datasink-class-defs-pyWriteDynamicFrame)
+ [Def writeDataFrame](#glue-etl-scala-apis-glue-datasink-class-defs-writeDataFrame)
+ [Bingkai Def pyWriteData](#glue-etl-scala-apis-glue-datasink-class-defs-pyWriteDataFrame)
+ [Def setCatalogInfo](#glue-etl-scala-apis-glue-datasink-class-defs-setCatalogInfo)
+ [SupportsFormat Def](#glue-etl-scala-apis-glue-datasink-class-defs-supportsFormat)
+ [SetFormat Def](#glue-etl-scala-apis-glue-datasink-class-defs-setFormat)
+ [Def WithFormat](#glue-etl-scala-apis-glue-datasink-class-defs-withFormat)
+ [Def setAccumulableSize](#glue-etl-scala-apis-glue-datasink-class-defs-setAccumulableSize)
+ [Def getOutputError RecordsAccumulable](#glue-etl-scala-apis-glue-datasink-class-defs-getOutputErrorRecordsAccumulable)
+ [Bingkai Def errorsAsDynamic](#glue-etl-scala-apis-glue-datasink-class-defs-errorsAsDynamicFrame)
+ [DataSink objek](#glue-etl-scala-apis-glue-datasink-object)
**Package: com.amazonaws.services.glue**
```
abstract class DataSink
```
Penulis meng-analog-kan ke `DataSource`. `DataSink` merangkum tujuan dan format yang dapat ditulis oleh `DynamicFrame`.
## Def writeDynamicFrame
```
def writeDynamicFrame( frame : DynamicFrame,
callSite : CallSite = CallSite("Not provided", "")
) : DynamicFrame
```
## Bingkai Def pyWriteDynamic
```
def pyWriteDynamicFrame( frame : DynamicFrame,
site : String = "Not provided",
info : String = "" )
```
## Def writeDataFrame
```
def writeDataFrame(frame: DataFrame,
glueContext: GlueContext,
callSite: CallSite = CallSite("Not provided", "")
): DataFrame
```
## Bingkai Def pyWriteData
```
def pyWriteDataFrame(frame: DataFrame,
glueContext: GlueContext,
site: String = "Not provided",
info: String = ""
): DataFrame
```
## Def setCatalogInfo
```
def setCatalogInfo(catalogDatabase: String,
catalogTableName : String,
catalogId : String = "")
```
## SupportsFormat Def
```
def supportsFormat( format : String ) : Boolean
```
## SetFormat Def
```
def setFormat( format : String,
options : JsonOptions
) : Unit
```
## Def WithFormat
```
def withFormat( format : String,
options : JsonOptions = JsonOptions.empty
) : DataSink
```
## Def setAccumulableSize
```
def setAccumulableSize( size : Int ) : Unit
```
## Def getOutputError RecordsAccumulable
```
def getOutputErrorRecordsAccumulable : Accumulable[List[OutputError], OutputError]
```
## Bingkai Def errorsAsDynamic
```
def errorsAsDynamicFrame : DynamicFrame
```
## DataSink objek
```
object DataSink
```
### Def RecordMetrics
```
def recordMetrics( frame : DynamicFrame,
ctxt : String
) : DynamicFrame
```
# AWS GlueSifat skala DataSource
**Package: com.amazonaws.services.glue**
Antarmuka tingkat tinggi untuk memproduksi sebuah `DynamicFrame`.
```
trait DataSource {
def getDynamicFrame : DynamicFrame
def getDynamicFrame( minPartitions : Int,
targetPartitions : Int
) : DynamicFrame
def getDataFrame : DataFrame
/** @param num: the number of records for sampling.
* @param options: optional parameters to control sampling behavior. Current available parameter for Amazon S3 sources in options:
* 1. maxSamplePartitions: the maximum number of partitions the sampling will read.
* 2. maxSampleFilesPerPartition: the maximum number of files the sampling will read in one partition.
*/
def getSampleDynamicFrame(num:Int, options: JsonOptions = JsonOptions.empty): DynamicFrame
def glueContext : GlueContext
def setFormat( format : String,
options : String
) : Unit
def setFormat( format : String,
options : JsonOptions
) : Unit
def supportsFormat( format : String ) : Boolean
def withFormat( format : String,
options : JsonOptions = JsonOptions.empty
) : DataSource
}
```
# AWS GlueScala DynamicFrame APIs
**Package: com.amazonaws.services.glue**
**Contents**
+ [AWS GlueKelas scala DynamicFrame](glue-etl-scala-apis-glue-dynamicframe-class.md)
+ [ErrorsCount Val](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-vals-errorsCount)
+ [Def ApplyMapping](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-applyMapping)
+ [Def assertErrorThreshold](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-assertErrorThreshold)
+ [Hitungan def](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-count)
+ [DropField Def](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-dropField)
+ [DropFields Def](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-dropFields)
+ [DropNulls Def](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-dropNulls)
+ [Bingkai Def errorsAsDynamic](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-errorsAsDynamicFrame)
+ [Filter Def](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-filter)
+ [Def getName](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-getName)
+ [Def getNumPartitions](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-getNumPartitions)
+ [Def Dihitung getSchemaIf](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-getSchemaIfComputed)
+ [Def isSchemaComputed](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-isSchemaComputed)
+ [Def javaToPython](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-javaToPython)
+ [Def bergabung](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-join)
+ [Def peta](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-map)
+ [Def mergeDynamicFrames](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-merge)
+ [PrintSkema Cetak Def](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-printSchema)
+ [ReComputesChema Def](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-recomputeSchema)
+ [Def relasialisasi](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-relationalize)
+ [Def RenameField](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-renameField)
+ [Def repartisi](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-repartition)
+ [Def ResolveChoice](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-resolveChoice)
+ [Skema Def](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-schema)
+ [SelectField Def](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-selectField)
+ [SelectFields Def](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-selectFields)
+ [Pertunjukan def](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-show)
+ [Def menyederhanakan DDBJson](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-simplifyDDBJson)
+ [Keran Def](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-spigot)
+ [Def SplitFields](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-splitFields)
+ [Def SplitRows](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-splitRows)
+ [Def stageErrorsCount](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-stageErrorsCount)
+ [Def ToDF](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-toDF)
+ [Def membuka kotak](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-unbox)
+ [Def tidak bersarang](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-unnest)
+ [Def tidak bersarang DDBJson](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-unnestddbjson)
+ [Def withFrameSchema](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-withFrameSchema)
+ [Def withName](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-withName)
+ [Def withTransformationContext](glue-etl-scala-apis-glue-dynamicframe-class.md#glue-etl-scala-apis-glue-dynamicframe-class-defs-withTransformationContext)
+ [DynamicFrame Objeknya](glue-etl-scala-apis-glue-dynamicframe-object.md)
+ [Def berlaku](glue-etl-scala-apis-glue-dynamicframe-object.md#glue-etl-scala-apis-glue-dynamicframe-object-defs-apply)
+ [Def emptyDynamicFrame](glue-etl-scala-apis-glue-dynamicframe-object.md#glue-etl-scala-apis-glue-dynamicframe-object-defs-emptyDynamicFrame)
+ [Def dariPythonRDD](glue-etl-scala-apis-glue-dynamicframe-object.md#glue-etl-scala-apis-glue-dynamicframe-object-defs-fromPythonRDD)
+ [Def IgnoreErrors](glue-etl-scala-apis-glue-dynamicframe-object.md#glue-etl-scala-apis-glue-dynamicframe-object-defs-ignoreErrors)
+ [Def InlineErrors](glue-etl-scala-apis-glue-dynamicframe-object.md#glue-etl-scala-apis-glue-dynamicframe-object-defs-inlineErrors)
+ [Kesalahan Def newFrameWith](glue-etl-scala-apis-glue-dynamicframe-object.md#glue-etl-scala-apis-glue-dynamicframe-object-defs-newFrameWithErrors)
# AWS GlueKelas scala DynamicFrame
**Package: com.amazonaws.services.glue**
```
class DynamicFrame extends Serializable with Logging (
val glueContext : GlueContext,
_records : RDD[DynamicRecord],
val name : String = s"",
val transformationContext : String = DynamicFrame.UNDEFINED,
callSite : CallSite = CallSite("Not provided", ""),
stageThreshold : Long = 0,
totalThreshold : Long = 0,
prevErrors : => Long = 0,
errorExpr : => Unit = {} )
```
Sebuah `DynamicFrame` adalah koleksi terdistribusi dari objek [DynamicRecord](glue-etl-scala-apis-glue-dynamicrecord-class.md) yang mendeskripsi secara mandiri.
`DynamicFrame` dirancang untuk menyediakan model data yang fleksibel untuk operasi ETL (ekstrak, transformasi, dan muat). Mereka tidak mengharuskan membuat sebuah skema, dan Anda dapat menggunakannya untuk membaca dan melakukan transformasi pada data yang berisi nilai dan jenis yang berantakan atau tidak konsisten. Sebuah skema dapat dihitung berdasarkan permintaan untuk operasi-operasi yang membutuhkannya.
`DynamicFrame` menyediakan berbagai transformasi untuk pembersihan data dan ETL. Mereka juga mendukung konversi ke dan dari DataFrames SparkSQL untuk diintegrasikan dengan kode yang ada dan banyak operasi analitik yang menyediakan. DataFrames
Parameter berikut dibagi di banyak AWS Glue transformasi yang membangun s`DynamicFrame`:
+ `transformationContext` — Pengidentifikasi untuk `DynamicFrame` ini. `transformationContext` digunakan sebagai kunci untuk status bookmark tugas yang tetap ada di seluruh eksekusi.
+ `callSite` — Menyediakan informasi konteks untuk pelaporan kesalahan. Nilai-nilai ini secara otomatis ditetapkan ketika memanggil dari Python.
+ `stageThreshold` — Jumlah maksimum catatan kesalahan yang diizinkan dari komputasi `DynamicFrame` ini sebelum melemparkan pengecualian, tidak termasuk catatan yang ada dalam `DynamicFrame` sebelumnya.
+ `totalThreshold` — Jumlah maksimum total catatan kesalahan sebelum pengecualian dilemparkan, termasuk yang dari bingkai sebelumnya.
## ErrorsCount Val
```
val errorsCount
```
Jumlah catatan kesalahan dalam `DynamicFrame` ini. Ini termasuk kesalahan dari operasi sebelumnya.
## Def ApplyMapping
```
def applyMapping( mappings : Seq[Product4[String, String, String, String]],
caseSensitive : Boolean = true,
transformationContext : String = "",
callSite : CallSite = CallSite("Not provided", ""),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : DynamicFrame
```
+ `mappings` — Urutan pemetaan untuk membangun `DynamicFrame` baru.
+ `caseSensitive` — Apakah akan memperlakukan kolom sumber sebagai kolom yang peka huruf besar dan kecil. Menyetel ini ke false mungkin membantu saat mengintegrasikan dengan toko yang tidak peka huruf besar/kecil seperti Katalog Data Glue AWS .
Memilih, memproyeksikan, dan melemparkan kolom berdasarkan urutan pemetaan.
Setiap pemetaan terdiri dari kolom sumber dan jenis serta kolom target dan jenis. Pemetaan dapat ditentukan sebagai empat tupel (`source_path`, `source_type`, ` target_path`, `target_type`) atau objek [MappingSpec](glue-etl-scala-apis-glue-mappingspec.md) yang berisi informasi yang sama.
Selain menggunakan pemetaan untuk proyeksi dan transmisi sederhana, Anda dapat menggunakannya untuk melakukan nest atau membuka nest pada bidang dengan memisahkan komponen dari path dengan tanda '`.`' (titik).
Sebagai contoh, anggaplah Anda memiliki `DynamicFrame` dengan skema berikut.
```
{{{
root
|-- name: string
|-- age: int
|-- address: struct
| |-- state: string
| |-- zip: int
}}}
```
Anda dapat membuat panggilan berikut untuk membuka sarang dari bidang `state` dan `zip`.
```
{{{
df.applyMapping(
Seq(("name", "string", "name", "string"),
("age", "int", "age", "int"),
("address.state", "string", "state", "string"),
("address.zip", "int", "zip", "int")))
}}}
```
Skema yang dihasilkan adalah sebagai berikut.
```
{{{
root
|-- name: string
|-- age: int
|-- state: string
|-- zip: int
}}}
```
Anda juga dapat menggunakan `applyMapping` untuk melakukan nest kembali pada kolom. Sebagai contoh, berikut ini membalikkan transformasi sebelumnya dan membuat sebuah struct bernama `address` dalam target.
```
{{{
df.applyMapping(
Seq(("name", "string", "name", "string"),
("age", "int", "age", "int"),
("state", "string", "address.state", "string"),
("zip", "int", "address.zip", "int")))
}}}
```
Nama kolom yang berisi karakter '`.`' (titik) dapat dikutip dengan menggunakan karakter backtick (````).
**catatan**
Saat ini, Anda tidak dapat menggunakan metode `applyMapping` untuk memetakan kolom yang bersarang di bawah array.
## Def assertErrorThreshold
```
def assertErrorThreshold : Unit
```
Tindakan yang memaksa perhitungan dan memverifikasi bahwa jumlah catatan kesalahan berada di bawah `stageThreshold` dan `totalThreshold`. Melempar pengecualian jika salah satu kondisi gagal.
## Hitungan def
```
lazy
def count
```
Mengembalikan jumlah elemen dalam `DynamicFrame` ini.
## DropField Def
```
def dropField( path : String,
transformationContext : String = "",
callSite : CallSite = CallSite("Not provided", ""),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : DynamicFrame
```
Mengembalikan `DynamicFrame` baru dengan kolom tertentu dihapus.
## DropFields Def
```
def dropFields( fieldNames : Seq[String], // The column names to drop.
transformationContext : String = "",
callSite : CallSite = CallSite("Not provided", ""),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : DynamicFrame
```
Mengembalikan `DynamicFrame` baru dengan kolom-kolom tertentu dihapus.
Anda dapat menggunakan metode ini untuk menghapus kolom bersarang, termasuk yang ada dalam array, tetapi tidak untuk membuang elemen array tertentu.
## DropNulls Def
```
def dropNulls( transformationContext : String = "",
callSite : CallSite = CallSite("Not provided", ""),
stageThreshold : Long = 0,
totalThreshold : Long = 0 )
```
Mengembalikan `DynamicFrame` baru dengan semua kolom nol dihapus.
**catatan**
Ini hanya menghapus kolom tipe `NullType`. Nilai-nilai nol individu dalam kolom lain tidak dihapus atau dimodifikasi.
## Bingkai Def errorsAsDynamic
```
def errorsAsDynamicFrame
```
Mengembalikan `DynamicFrame` baru yang berisi catatan kesalahan dari `DynamicFrame`.
## Filter Def
```
def filter( f : DynamicRecord => Boolean,
errorMsg : String = "",
transformationContext : String = "",
callSite : CallSite = CallSite("Not provided"),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : DynamicFrame
```
Membangun `DynamicFrame` baru yang hanya berisi catatan-catatan yang untuknya fungsi '`f`' mengembalikan `true`. Fungsi filter '`f`' seharusnya tidak mengubah catatan masukan.
## Def getName
```
def getName : String
```
Mengembalikan nama dari `DynamicFrame` ini.
## Def getNumPartitions
```
def getNumPartitions
```
Mengembalikan jumlah partisi dalam `DynamicFrame` ini.
## Def Dihitung getSchemaIf
```
def getSchemaIfComputed : Option[Schema]
```
Mengembalikan skema jika ia sudah dikomputasi. Tidak memindai data jika skema belum dikomputasi.
## Def isSchemaComputed
```
def isSchemaComputed : Boolean
```
Mengembalikan `true` jika skema telah dikomputasi untuk `DynamicFrame` ini, atau `false` jika tidak. Jika metode ini mengembalikan false, maka memanggil metode `schema` akan mengharuskan pemberian lain atas catatan dalam `DynamicFrame` ini.
## Def javaToPython
```
def javaToPython : JavaRDD[Array[Byte]]
```
## Def bergabung
```
def join( keys1 : Seq[String],
keys2 : Seq[String],
frame2 : DynamicFrame,
transformationContext : String = "",
callSite : CallSite = CallSite("Not provided", ""),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : DynamicFrame
```
+ `keys1` — Kolom dalam `DynamicFrame` ini yang akan digunakan untuk penggabungan.
+ `keys2` — Kolom dalam `frame2` yang akan digunakan untuk penggabungan. Harus memiliki panjang yang sama seperti `keys1`.
+ `frame2` — `DynamicFrame` yang akan digabungkan padanya.
Mengembalikan hasil dari pelaksanaan equijoin dengan `frame2` menggunakan kunci yang ditentukan.
## Def peta
```
def map( f : DynamicRecord => DynamicRecord,
errorMsg : String = "",
transformationContext : String = "",
callSite : CallSite = CallSite("Not provided", ""),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : DynamicFrame
```
Mengembalikan `DynamicFrame` baru yang dibangun dengan menerapkan fungsi '`f`' tertentu untuk setiap catatan dalam `DynamicFrame`.
Metode ini menyalin setiap catatan sebelum menerapkan fungsi yang ditentukan, sehingga aman untuk mengubah catatan. Jika fungsi pemetaan melempar pengecualian pada catatan tertentu, maka catatan yang ditandai sebagai kesalahan, dan jejak tumpukan disimpan sebagai sebuah kolom dalam catatan kesalahan.
## Def mergeDynamicFrames
```
def mergeDynamicFrames( stageDynamicFrame: DynamicFrame, primaryKeys: Seq[String], transformationContext: String = "",
options: JsonOptions = JsonOptions.empty, callSite: CallSite = CallSite("Not provided"),
stageThreshold: Long = 0, totalThreshold: Long = 0): DynamicFrame
```
+ `stageDynamicFrame` — Pentahapan `DynamicFrame` yang akan digabungkan.
+ `primaryKeys` — Daftar bidang kunci primer untuk mencocokkan catatan dari sumber dan pentahapan `DynamicFrame`.
+ `transformationContext` — Sebuah string unik yang digunakan untuk mengambil metadata tentang transformasi saat ini (opsional).
+ `options` — Sebuah string pasangan nama-nilai JSON yang memberikan informasi tambahan untuk transformasi ini.
+ `callSite` — Digunakan untuk menyediakan informasi konteks untuk pelaporan kesalahan.
+ `stageThreshold` — Sebuah `Long`. Jumlah kesalahan dalam transformasi yang ditentukan yang memerlukan pengolahan untuk membersihkan kesalahan.
+ `totalThreshold` — Sebuah `Long`. Jumlah kesalahan hingga dan termasuk dalam transformasi yang memerlukan pengolahan untuk membersihkan kesalahan.
Menggabungkan `DynamicFrame` ini dengan pentahapan `DynamicFrame` berdasarkan kunci primer yang ditentukan untuk mengidentifikasi catatan. Catatan duplikat (catatan dengan kunci primer yang sama) tidak di-deduplikasi. Jika tidak ada catatan yang cocok dalam bingkai pentahapan, semua catatan (termasuk duplikat) akan dipertahankan dari sumber. Jika bingkai pementasan memiliki catatan yang cocok, catatan dari bingkai pementasan menimpa catatan di sumber. AWS Glue
`DynamicFrame` yang dikembalikan berisi catatan A dalam kasus berikut:
1. Jika `A` ada di bingkai sumber dan bingkai pentahapan, maka `A` dalam bingkai pentahapan akan dikembalikan.
1. Jika `A` ada dalam tabel sumber dan `A.primaryKeys` tidak ada di `stagingDynamicFrame` (berarti `A` tidak diperbarui dalam tabel pentahapan).
Bingkai sumber dan bingkai pentahapan tidak perlu memiliki skema yang sama.
**Example**
```
val mergedFrame: DynamicFrame = srcFrame.mergeDynamicFrames(stageFrame, Seq("id1", "id2"))
```
## PrintSkema Cetak Def
```
def printSchema : Unit
```
Mencetak skema `DynamicFrame` ini ke `stdout` dalam format yang dapat dibaca manusia.
## ReComputesChema Def
```
def recomputeSchema : Schema
```
Memaksakan komputasi ulang skema. Hal ini memerlukan pemindaian data, tapi mungkin akan "mengencangkan" skema jika ada beberapa bidang dalam skema saat ini yang tidak ada dalam data.
Mengembalikan skema yang telah dikomputasi ulang.
## Def relasialisasi
```
def relationalize( rootTableName : String,
stagingPath : String,
options : JsonOptions = JsonOptions.empty,
transformationContext : String = "",
callSite : CallSite = CallSite("Not provided"),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : Seq[DynamicFrame]
```
+ `rootTableName` — Nama yang digunakan untuk `DynamicFrame` dasar dalam output. `DynamicFrame` yang dibuat oleh array berputar dimulai dengan ini sebagai prefiks.
+ `stagingPath` — Path Amazon Simple Storage Service (Amazon S3) untuk menulis data menengah.
+ `options` — Menghubungkan opsi dan konfigurasi. Saat ini tidak digunakan.
Meratakan semua struktur bersarang dan memutar array ke dalam tabel terpisah.
Anda dapat menggunakan operasi ini untuk mempersiapkan data yang sangat bersarang untuk penyerapan ke dalam basis data relasional. Struct bersarang diratakan dengan cara yang sama seperti transformasi [Tidak bersarang](#glue-etl-scala-apis-glue-dynamicframe-class-defs-unnest). Selain itu, array yang diputar ke dalam tabel terpisah dengan masing-masing elemen array yang menjadi sebuah baris. Sebagai contoh, anggaplah Anda memiliki `DynamicFrame` dengan data berikut.
```
{"name": "Nancy", "age": 47, "friends": ["Fred", "Lakshmi"]}
{"name": "Stephanie", "age": 28, "friends": ["Yao", "Phil", "Alvin"]}
{"name": "Nathan", "age": 54, "friends": ["Nicolai", "Karen"]}
```
Jalankan kode berikut.
```
{{{
df.relationalize("people", "s3:/my_bucket/my_path", JsonOptions.empty)
}}}
```
Hal ini menghasilkan dua tabel. Tabel pertama bernama "orang" dan isinya adalah sebagai berikut.
```
{{{
{"name": "Nancy", "age": 47, "friends": 1}
{"name": "Stephanie", "age": 28, "friends": 2}
{"name": "Nathan", "age": 54, "friends": 3)
}}}
```
Di sini, array teman-teman telah diganti dengan kunci penggabungan yang dihasilkan secara otomatis. Sebuah tabel terpisah bernama `people.friends` dibuat dengan isi sebagai berikut.
```
{{{
{"id": 1, "index": 0, "val": "Fred"}
{"id": 1, "index": 1, "val": "Lakshmi"}
{"id": 2, "index": 0, "val": "Yao"}
{"id": 2, "index": 1, "val": "Phil"}
{"id": 2, "index": 2, "val": "Alvin"}
{"id": 3, "index": 0, "val": "Nicolai"}
{"id": 3, "index": 1, "val": "Karen"}
}}}
```
Dalam tabel ini, '`id`' adalah sebuah kunci penggabungan yang mengidentifikasi yang mencatat asal elemen array, '`index`' mengacu pada posisi dalam array asli, dan '`val`' adalah entri array yang sebenarnya.
Metode `relationalize` mengembalikan deret `DynamicFrame` yang dibuat dengan menerapkan proses ini secara rekursif pada semua array.
**catatan**
AWS GluePustaka secara otomatis menghasilkan kunci gabungan untuk tabel baru. Untuk memastikan bahwa kunci penggabungan bersifat unik di seluruh eksekusi tugas, Anda harus mengaktifkan bookmark tugas.
## Def RenameField
```
def renameField( oldName : String,
newName : String,
transformationContext : String = "",
callSite : CallSite = CallSite("Not provided", ""),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : DynamicFrame
```
+ `oldName` — Nama asli kolom.
+ `newName` — Nama baru kolom.
Mengembalikan sebuah `DynamicFrame` baru dengan kolom tertentu yang diganti namanya.
Anda dapat menggunakan metode ini untuk mengganti nama bidang bersarang. Misalnya, kode berikut akan mengubah nama `state` menjadi `state_code` dalam struct alamat.
```
{{{
df.renameField("address.state", "address.state_code")
}}}
```
## Def repartisi
```
def repartition( numPartitions : Int,
transformationContext : String = "",
callSite : CallSite = CallSite("Not provided", ""),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : DynamicFrame
```
Mengembalikan sebuah `DynamicFrame` baru dengan partisi `numPartitions`.
## Def ResolveChoice
```
def resolveChoice( specs : Seq[Product2[String, String]] = Seq.empty[ResolveSpec],
choiceOption : Option[ChoiceOption] = None,
database : Option[String] = None,
tableName : Option[String] = None,
transformationContext : String = "",
callSite : CallSite = CallSite("Not provided", ""),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : DynamicFrame
```
+ `choiceOption` — Sebuah tindakan yang akan diterapkan ke semua kolom `ChoiceType` yang tidak tercantum dalam urutan spesifikasi.
+ `database` — Basis data Katalog Data yang akan digunakan dengan tindakan `match_catalog`.
+ `tableName` — Tabel Katalog Data yang akan digunakan dengan tindakan `match_catalog`.
Mengembalikan sebuah `DynamicFrame` baru dengan mengganti satu atau beberapa `ChoiceType` dengan tipe yang lebih spesifik.
Ada dua cara untuk menggunakan `resolveChoice`. Yang pertama adalah menentukan urutan kolom tertentu dan cara mengubahnya. Hal ini ditentukan sebagai tupel yang terdiri dari pasangan (kolom, tindakan).
Berikut ini adalah tindakan yang mungkin:
+ `cast:type` — Upaya untuk mengubah semua nilai ke jenis tertentu.
+ `make_cols` — Mengkonversi setiap jenis yang berbeda menjadi kolom dengan nama `columnName_type`.
+ `make_struct` — Mengkonversi kolom menjadi struct dengan kunci untuk setiap jenis yang berbeda.
+ `project:type` — Mempertahankan hanya nilai-nilai dari jenis tertentu saja.
Mode lain untuk `resolveChoice` adalah untuk menentukan resolusi tunggal untuk semua `ChoiceType`. Anda dapat menggunakan ini dalam kasus di mana daftar `ChoiceType` lengkap tidak diketahui sebelum eksekusi. Selain tindakan-tindakan yang tercantum sebelumnya, mode ini juga mendukung tindakan berikut:
+ `match_catalog` — Upaya untuk mengubah setiap `ChoiceType` menjadi jenis yang sesuai dalam tabel katalog yang ditentukan.
**Contoh:**
Ubah kolom `user.id` dengan mengubahnya menjadi int, dan membuat bidang `address` hanya mempertahankan struct saja.
```
{{{
df.resolveChoice(specs = Seq(("user.id", "cast:int"), ("address", "project:struct")))
}}}
```
Ubah semua `ChoiceType` dengan mengkonversi setiap pilihan menjadi kolom terpisah.
```
{{{
df.resolveChoice(choiceOption = Some(ChoiceOption("make_cols")))
}}}
```
Ubah semua `ChoiceType` dengan mengubahnya menjadi jenis dalam tabel katalog yang ditentukan.
```
{{{
df.resolveChoice(choiceOption = Some(ChoiceOption("match_catalog")),
database = Some("my_database"),
tableName = Some("my_table"))
}}}
```
## Skema Def
```
def schema : Schema
```
Mengembalikan skema `DynamicFrame` ini.
Skema yang dikembalikan dijamin mengandung setiap bidang yang ada dalam catatan di `DynamicFrame` ini. Namun dalam sejumlah kecil kasus, di mana skema mungkin juga berisi bidang tambahan. Anda dapat menggunakan metode [Tidak bersarang](#glue-etl-scala-apis-glue-dynamicframe-class-defs-unnest) untuk "mengencangkan" skema berdasarkan catatan dalam `DynamicFrame`.
## SelectField Def
```
def selectField( fieldName : String,
transformationContext : String = "",
callSite : CallSite = CallSite("Not provided", ""),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : DynamicFrame
```
Mengembalikan satu bidang sebagai sebuah `DynamicFrame`.
## SelectFields Def
```
def selectFields( paths : Seq[String],
transformationContext : String = "",
callSite : CallSite = CallSite("Not provided", ""),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : DynamicFrame
```
+ `paths` — Urutan nama kolom yang akan dipilih.
Mengembalikan sebuah `DynamicFrame` baru yang berisi kolom yang ditentukan.
**catatan**
Anda hanya dapat menggunakan metode `selectFields` untuk memilih kolom tingkat atas. Anda dapat menggunakan metode [applyMapping](#glue-etl-scala-apis-glue-dynamicframe-class-defs-applyMapping) untuk memilih kolom bersarang.
## Pertunjukan def
```
def show( numRows : Int = 20 ) : Unit
```
+ `numRows` — Jumlah baris yang akan dicetak.
Mencetak baris dari `DynamicFrame` ini dalam format JSON.
## Def menyederhanakan DDBJson
Ekspor DynamoDB dengan AWS Glue konektor ekspor DynamoDB menghasilkan file JSON dari struktur bersarang tertentu. Untuk informasi selengkapnya, lihat [Objek data](https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/S3DataExport.Output.html). `simplifyDDBJson` Menyederhanakan kolom bersarang dalam jenis data ini, dan mengembalikan yang baru disederhanakan. DynamicFrame DynamicFrame Jika ada beberapa jenis atau tipe Peta yang terdapat dalam tipe Daftar, elemen dalam Daftar tidak akan disederhanakan. Metode ini hanya mendukung data dalam format JSON ekspor DynamoDB. Pertimbangkan `unnest` untuk melakukan perubahan serupa pada jenis data lainnya.
```
def simplifyDDBJson() : DynamicFrame
```
Metode ini tidak mengambil parameter apa pun.
**Contoh masukan**
Pertimbangkan skema berikut yang dihasilkan oleh ekspor DynamoDB:
```
root
|-- Item: struct
| |-- parentMap: struct
| | |-- M: struct
| | | |-- childMap: struct
| | | | |-- M: struct
| | | | | |-- appName: struct
| | | | | | |-- S: string
| | | | | |-- packageName: struct
| | | | | | |-- S: string
| | | | | |-- updatedAt: struct
| | | | | | |-- N: string
| |-- strings: struct
| | |-- SS: array
| | | |-- element: string
| |-- numbers: struct
| | |-- NS: array
| | | |-- element: string
| |-- binaries: struct
| | |-- BS: array
| | | |-- element: string
| |-- isDDBJson: struct
| | |-- BOOL: boolean
| |-- nullValue: struct
| | |-- NULL: boolean
```
**Contoh kode**
```
import com.amazonaws.services.glue.GlueContext
import com.amazonaws.services.glue.util.GlueArgParser
import com.amazonaws.services.glue.util.Job
import com.amazonaws.services.glue.util.JsonOptions
import com.amazonaws.services.glue.DynamoDbDataSink
import org.apache.spark.SparkContextimport scala.collection.JavaConverters._
object GlueApp {
def main(sysArgs: Array[String]): Unit = {
val glueContext = new GlueContext(SparkContext.getOrCreate())
val args = GlueArgParser.getResolvedOptions(sysArgs, Seq("JOB_NAME").toArray)
Job.init(args("JOB_NAME"), glueContext, args.asJava)
val dynamicFrame = glueContext.getSourceWithFormat(
connectionType = "dynamodb",
options = JsonOptions(Map(
"dynamodb.export" -> "ddb",
"dynamodb.tableArn" -> "ddbTableARN",
"dynamodb.s3.bucket" -> "exportBucketLocation",
"dynamodb.s3.prefix" -> "exportBucketPrefix",
"dynamodb.s3.bucketOwner" -> "exportBucketAccountID",
))
).getDynamicFrame()
val simplified = dynamicFrame.simplifyDDBJson()
simplified.printSchema()
Job.commit()
}
}
```
### Contoh Output
`simplifyDDBJson`Transformasi akan menyederhanakan ini menjadi:
```
root
|-- parentMap: struct
| |-- childMap: struct
| | |-- appName: string
| | |-- packageName: string
| | |-- updatedAt: string
|-- strings: array
| |-- element: string
|-- numbers: array
| |-- element: string
|-- binaries: array
| |-- element: string
|-- isDDBJson: boolean
|-- nullValue: null
```
## Keran Def
```
def spigot( path : String,
options : JsonOptions = new JsonOptions("{}"),
transformationContext : String = "",
callSite : CallSite = CallSite("Not provided"),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : DynamicFrame
```
Transformasi passthrough yang mengembalikan catatan yang sama tetapi menulis subset dari catatan sebagai efek samping.
+ `path` — Path di Amazon S3 untuk menulis output, dalam bentuk `s3://bucket//path`.
+ `options` — Peta `JsonOptions` opsional yang menjelaskan perilaku pengambilan sampel.
Mengembalikan sebuah `DynamicFrame` yang berisi catatan yang sama seperti yang satu ini.
Secara default, menulis 100 catatan yang berubah-ubah ke lokasi yang ditentukan oleh `path`. Anda dapat menyesuaikan perilaku ini dengan menggunakan peta `options`. Kunci yang valid meliputi yang berikut ini:
+ `topk` — Menentukan jumlah total catatan yang ditulis. Secara default, nilainya adalah 100.
+ `prob` — Menentukan probabilitas (dalam desimal) bahwa catatan individu sudah disertakan. Default-nya adalah 1.
Misalnya, panggilan berikut akan mengambil sampel dari set data dengan memilih setiap catatan dengan probabilitas 20 persen dan berhenti setelah 200 catatan telah ditulis.
```
{{{
df.spigot("s3://my_bucket/my_path", JsonOptions(Map("topk" -> 200, "prob" -> 0.2)))
}}}
```
## Def SplitFields
```
def splitFields( paths : Seq[String],
transformationContext : String = "",
callSite : CallSite = CallSite("Not provided", ""),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : Seq[DynamicFrame]
```
+ `paths` — Path yang akan disertakan dalam `DynamicFrame` pertama.
Mengembalikan deret dua `DynamicFrame`. `DynamicFrame` yang pertama berisi path yang ditentukan, dan yang kedua berisi semua kolom lainnya.
**Contoh**
Contoh ini mengambil DynamicFrame dibuat dari `persons` tabel dalam `legislators` database di AWS Glue Data Catalog dan membagi DynamicFrame menjadi dua, dengan bidang yang ditentukan masuk ke bidang pertama DynamicFrame dan yang tersisa menjadi yang kedua DynamicFrame. Contoh kemudian memilih yang pertama DynamicFrame dari hasilnya.
```
val InputFrame = glueContext.getCatalogSource(database="legislators", tableName="persons",
transformationContext="InputFrame").getDynamicFrame()
val SplitField_collection = InputFrame.splitFields(paths=Seq("family_name", "name", "links.note",
"links.url", "gender", "image", "identifiers.scheme", "identifiers.identifier", "other_names.lang",
"other_names.note", "other_names.name"), transformationContext="SplitField_collection")
val ResultFrame = SplitField_collection(0)
```
## Def SplitRows
```
def splitRows( paths : Seq[String],
values : Seq[Any],
operators : Seq[String],
transformationContext : String,
callSite : CallSite,
stageThreshold : Long,
totalThreshold : Long
) : Seq[DynamicFrame]
```
Membagi baris berdasarkan predikat yang membandingkan kolom dengan konstanta.
+ `paths` — Kolom yang digunakan untuk perbandingan.
+ `values` — Nilai konstanta yang digunakan untuk perbandingan.
+ `operators` — Operator yang digunakan untuk perbandingan.
Mengembalikan deret dua `DynamicFrame`. Yang pertama berisi baris dengan predikat true yang kedua berisi baris dengan predikat false.
Predikat ditentukan dengan menggunakan tiga urutan: '`paths`' berisi nama kolom (mungkin bersarang), '`values`' berisi nilai-nilai konstanta yang akan dibandingkan, dan '`operators`' berisi operator yang akan digunakan untuk perbandingan. Ketiga urutan harus sama panjangnya: operator ke-`n` digunakan untuk membandingkan kolom ke-`n` dengan nilai ke-`n`.
Setiap operator harus berupa salah satu dari "`!=`", "`=`", "`<=`", "`<`", "`>=`", atau "`>`".
Sebagai contoh, panggilan berikut akan membagi `DynamicFrame` sehingga bingkai output pertama akan berisi catatan dari orang-orang yang berusia di atas 65 dari Amerika Serikat, dan yang kedua akan berisi semua catatan lainnya.
```
{{{
df.splitRows(Seq("age", "address.country"), Seq(65, "USA"), Seq(">=", "="))
}}}
```
## Def stageErrorsCount
```
def stageErrorsCount
```
Mengembalikan jumlah catatan kesalahan yang dibuat saat melakukan komputasi pada `DynamicFrame` ini. Ini tidak termasuk kesalahan dari operasi sebelumnya yang dilewatkan ke `DynamicFrame` ini sebagai masukan.
## Def ToDF
```
def toDF( specs : Seq[ResolveSpec] = Seq.empty[ResolveSpec] ) : DataFrame
```
Mengkonversi `DynamicFrame` ini ke `DataFrame` Apache Spark SQL dengan skema dan catatan yang sama.
**catatan**
Karena `DataFrame` tidak mendukung `ChoiceType`, jadi metode ini secara otomatis mengkonversi kolom `ChoiceType` menjadi `StructType`. Untuk informasi selengkapnya dan opsi pengubahan pilihan, lihat [resolveChoice](#glue-etl-scala-apis-glue-dynamicframe-class-defs-resolveChoice).
## Def membuka kotak
```
def unbox( path : String,
format : String,
optionString : String = "{}",
transformationContext : String = "",
callSite : CallSite = CallSite("Not provided"),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : DynamicFrame
```
+ `path` — Kolom yang akan diurai. Harus berupa string atau biner.
+ `format` — Format yang akan digunakan untuk penguraian.
+ `optionString` — Pilihan untuk memberikan ke format, seperti pemisah CSV.
Mengurai string atau kolom biner yang tertanam sesuai dengan format yang ditentukan. Kolom yang diurai disarangkan di bawah struct dengan nama kolom asli.
Misalnya, anggaplah Anda memiliki file CSV dengan kolom JSON yang tertanam.
```
name, age, address
Sally, 36, {"state": "NE", "city": "Omaha"}
...
```
Setelah penguraian awal, Anda akan mendapatkan `DynamicFrame` dengan skema berikut.
```
{{{
root
|-- name: string
|-- age: int
|-- address: string
}}}
```
Anda dapat memanggil `unbox` pada kolom alamat untuk mengurai komponen tertentu.
```
{{{
df.unbox("address", "json")
}}}
```
hal ini akan memberi kita sebuah `DynamicFrame` dengan skema berikut.
```
{{{
root
|-- name: string
|-- age: int
|-- address: struct
| |-- state: string
| |-- city: string
}}}
```
## Def tidak bersarang
```
def unnest( transformationContext : String = "",
callSite : CallSite = CallSite("Not Provided"),
stageThreshold : Long = 0,
totalThreshold : Long = 0
) : DynamicFrame
```
Mengembalikan sebuah `DynamicFrame` baru dengan semua struktur bersarang yang sudah diratakan. Nama dibangun menggunakan karakter '`.`' (titik).
Sebagai contoh, anggaplah Anda memiliki `DynamicFrame` dengan skema berikut.
```
{{{
root
|-- name: string
|-- age: int
|-- address: struct
| |-- state: string
| |-- city: string
}}}
```
Panggilan berikut membuka sarang struct alamat.
```
{{{
df.unnest()
}}}
```
Skema yang dihasilkan adalah sebagai berikut.
```
{{{
root
|-- name: string
|-- age: int
|-- address.state: string
|-- address.city: string
}}}
```
Metode ini juga akan membuka struct bersarang dalam array. Tetapi karena alasan riwayat, nama-nama bidang tersebut didahului dengan nama array yang dilampirkan dan "`.val`".
## Def tidak bersarang DDBJson
```
unnestDDBJson(transformationContext : String = "",
callSite : CallSite = CallSite("Not Provided"),
stageThreshold : Long = 0,
totalThreshold : Long = 0): DynamicFrame
```
Unnests kolom bersarang di a `DynamicFrame` yang secara khusus dalam struktur DynamoDB JSON, dan mengembalikan unnested baru. `DynamicFrame` Kolom yang terdiri dari array tipe struct tidak akan di-unnested. Perhatikan bahwa ini adalah jenis transformasi unnesting tertentu yang berperilaku berbeda dari `unnest` transformasi biasa dan mengharuskan data sudah berada dalam struktur DynamoDB JSON. Untuk informasi selengkapnya, lihat [DynamoDB JSON](https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DataExport.Output.html#DataExport.Output.Data).
Misalnya, skema pembacaan ekspor dengan struktur DynamoDB JSON mungkin terlihat seperti berikut:
```
root
|-- Item: struct
| |-- ColA: struct
| | |-- S: string
| |-- ColB: struct
| | |-- S: string
| |-- ColC: struct
| | |-- N: string
| |-- ColD: struct
| | |-- L: array
| | | |-- element: null
```
`unnestDDBJson()`Transformasi akan mengubah ini menjadi:
```
root
|-- ColA: string
|-- ColB: string
|-- ColC: string
|-- ColD: array
| |-- element: null
```
Contoh kode berikut menunjukkan cara menggunakan konektor ekspor AWS Glue DynamoDB, memanggil DynamoDB JSON unnest, dan mencetak jumlah partisi:
```
import com.amazonaws.services.glue.GlueContext
import com.amazonaws.services.glue.util.GlueArgParser
import com.amazonaws.services.glue.util.Job
import com.amazonaws.services.glue.util.JsonOptions
import com.amazonaws.services.glue.DynamoDbDataSink
import org.apache.spark.SparkContext
import scala.collection.JavaConverters._
object GlueApp {
def main(sysArgs: Array[String]): Unit = {
val glueContext = new GlueContext(SparkContext.getOrCreate())
val args = GlueArgParser.getResolvedOptions(sysArgs, Seq("JOB_NAME").toArray)
Job.init(args("JOB_NAME"), glueContext, args.asJava)
val dynamicFrame = glueContext.getSourceWithFormat(
connectionType = "dynamodb",
options = JsonOptions(Map(
"dynamodb.export" -> "ddb",
"dynamodb.tableArn" -> "",
"dynamodb.s3.bucket" -> "",
"dynamodb.s3.prefix" -> "",
"dynamodb.s3.bucketOwner" -> "",
))
).getDynamicFrame()
val unnested = dynamicFrame.unnestDDBJson()
print(unnested.getNumPartitions())
Job.commit()
}
}
```
## Def withFrameSchema
```
def withFrameSchema( getSchema : () => Schema ) : DynamicFrame
```
+ `getSchema` — Sebuah fungsi yang mengembalikan skema yang akan digunakan. Ditentukan sebagai fungsi nol-parameter untuk menunda komputasi yang berpotensi mahal.
Menetapkan skema dari `DynamicFrame` ini dengan nilai yang ditentukan. Hal ini terutama digunakan secara internal untuk menghindari komputasi ulang yang mahal pada skema. Skema yang dimasukkan harus berisi semua kolom yang ada dalam data.
## Def withName
```
def withName( name : String ) : DynamicFrame
```
+ `name` — Nama baru yang akan digunakan.
Mengembalikan salinan dari `DynamicFrame` ini dengan nama baru.
## Def withTransformationContext
```
def withTransformationContext( ctx : String ) : DynamicFrame
```
Mengembalikan salinan dari `DynamicFrame` ini dengan konteks transformasi yang ditentukan.
# DynamicFrame Objeknya
**Package: com.amazonaws.services.glue**
```
object DynamicFrame
```
## Def berlaku
```
def apply( df : DataFrame,
glueContext : GlueContext
) : DynamicFrame
```
## Def emptyDynamicFrame
```
def emptyDynamicFrame( glueContext : GlueContext ) : DynamicFrame
```
## Def dariPythonRDD
```
def fromPythonRDD( rdd : JavaRDD[Array[Byte]],
glueContext : GlueContext
) : DynamicFrame
```
## Def IgnoreErrors
```
def ignoreErrors( fn : DynamicRecord => DynamicRecord ) : DynamicRecord
```
## Def InlineErrors
```
def inlineErrors( msg : String,
callSite : CallSite
) : (DynamicRecord => DynamicRecord)
```
## Kesalahan Def newFrameWith
```
def newFrameWithErrors( prevFrame : DynamicFrame,
rdd : RDD[DynamicRecord],
name : String = "",
transformationContext : String = "",
callSite : CallSite,
stageThreshold : Long,
totalThreshold : Long
) : DynamicFrame
```
# AWS GlueKelas scala DynamicRecord
**Topics**
+ [Def AddField](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-addField)
+ [DropField Def](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-dropField)
+ [Def SetError](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-setError)
+ [Def isError](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-isError)
+ [Def GetError](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-getError)
+ [Def ClearError](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-clearError)
+ [Def menulis](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-write)
+ [Def ReadFields](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-readFields)
+ [Klon def](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-clone)
+ [Skema Def](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-schema)
+ [Def GetRoot](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-getRoot)
+ [Def ToJSON](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-toJson)
+ [Def getFieldNode](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-getFieldNode)
+ [Def GetField](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-getField)
+ [Kode Hash Def](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-hashCode)
+ [Def sama dengan](#glue-etl-scala-apis-glue-dynamicrecord-class-defs-equals)
+ [DynamicRecord objek](#glue-etl-scala-apis-glue-dynamicrecord-object)
+ [RecordTraverser sifat](#glue-etl-scala-apis-glue-recordtraverser-trait)
**Package: com.amazonaws.services.glue**
```
class DynamicRecord extends Serializable with Writable with Cloneable
```
Sebuah `DynamicRecord` adalah struktur data self-describing yang mewakili deretan data dalam set data yang sedang diproses. Ia bersifat self-describing dalam arti bahwa Anda bisa mendapatkan skema dari baris yang diwakili oleh `DynamicRecord` dengan memeriksa catatan itu sendiri. Sebuah `DynamicRecord` mirip dengan `Row` di Apache Spark.
## Def AddField
```
def addField( path : String,
dynamicNode : DynamicNode
) : Unit
```
Menambahkan sebuah [DynamicNode](glue-etl-scala-apis-glue-types-dynamicnode.md) ke path yang ditentukan.
+ `path` — Path untuk bidang yang akan ditambahkan.
+ `dynamicNode` — [DynamicNode](glue-etl-scala-apis-glue-types-dynamicnode.md) yang akan ditambahkan pada path yang ditentukan.
## DropField Def
```
def dropField(path: String, underRename: Boolean = false): Option[DynamicNode]
```
Menghapus [DynamicNode](glue-etl-scala-apis-glue-types-dynamicnode.md) dari path yang ditentukan dan mengembalikan simpul yang dibuang jika tidak ada array di path yang ditentukan.
+ `path` — Path ke bidang yang akan dibuang.
+ `underRename` — BETUL jika `dropField` dipanggil sebagai bagian dari penggantian nama transformasi, atau SALAH jika sebaliknya (secara default SALAH).
Mengembalikan `scala.Option Option` ([DynamicNode](glue-etl-scala-apis-glue-types-dynamicnode.md)).
## Def SetError
```
def setError( error : Error )
```
Menetapkan catatan ini sebagai catatan kesalahan, sebagaimana yang ditentukan oleh parameter `error`.
Mengembalikan `DynamicRecord`.
## Def isError
```
def isError
```
Memeriksa apakah catatan ini adalah catatan kesalahan.
## Def GetError
```
def getError
```
Mengambil `Error` jika catatan adalah catatan kesalahan. Mengembalikan `scala.Some Some` (Kesalahan) jika catatan ini adalah catatan kesalahan, atau sebaliknya `scala.None`.
## Def ClearError
```
def clearError
```
Atur `Error` ke `scala.None.None` .
## Def menulis
```
override def write( out : DataOutput ) : Unit
```
## Def ReadFields
```
override def readFields( in : DataInput ) : Unit
```
## Klon def
```
override def clone : DynamicRecord
```
Kloning catatan ini ke `DynamicRecord` yang baru dan kembalikan.
## Skema Def
```
def schema
```
Ambil `Schema` dengan memeriksa catatan.
## Def GetRoot
```
def getRoot : ObjectNode
```
Ambil `ObjectNode` akar untuk catatan.
## Def ToJSON
```
def toJson : String
```
Ambil string JSON untuk catatan.
## Def getFieldNode
```
def getFieldNode( path : String ) : Option[DynamicNode]
```
Dapatkan nilai bidang di `path` yang ditentukan sebagai pilihan `DynamicNode`.
Mengembalikan `scala.Some Some` ([DynamicNode](glue-etl-scala-apis-glue-types-dynamicnode.md)) jika bidang ada, atau sebaliknya `scala.None.None`.
## Def GetField
```
def getField( path : String ) : Option[Any]
```
Dapatkan nilai bidang di `path` yang ditentukan sebagai pilihan `DynamicNode`.
Mengembalikan `scala.Some Some` (nilai).
## Kode Hash Def
```
override def hashCode : Int
```
## Def sama dengan
```
override def equals( other : Any )
```
## DynamicRecord objek
```
object DynamicRecord
```
### Def berlaku
```
def apply( row : Row,
schema : SparkStructType )
```
Terapkan metode untuk mengkonversi Apache Spark SQL `Row` menjadi [DynamicRecord](#glue-etl-scala-apis-glue-dynamicrecord-class).
+ `row` — Sebuah Spark SQL `Row`.
+ `schema` — `Schema` dari baris tersebut.
Mengembalikan `DynamicRecord`.
## RecordTraverser sifat
```
trait RecordTraverser {
def nullValue(): Unit
def byteValue(value: Byte): Unit
def binaryValue(value: Array[Byte]): Unit
def booleanValue(value: Boolean): Unit
def shortValue(value: Short) : Unit
def intValue(value: Int) : Unit
def longValue(value: Long) : Unit
def floatValue(value: Float): Unit
def doubleValue(value: Double): Unit
def decimalValue(value: BigDecimal): Unit
def stringValue(value: String): Unit
def dateValue(value: Date): Unit
def timestampValue(value: Timestamp): Unit
def objectStart(length: Int): Unit
def objectKey(key: String): Unit
def objectEnd(): Unit
def mapStart(length: Int): Unit
def mapKey(key: String): Unit
def mapEnd(): Unit
def arrayStart(length: Int): Unit
def arrayEnd(): Unit
}
```
# AWS GlueScala GlueContext APIs
**Package: com.amazonaws.services.glue**
```
class GlueContext extends SQLContext(sc) (
@transient val sc : SparkContext,
val defaultSourcePartitioner : PartitioningStrategy )
```
`GlueContext` adalah titik masuk untuk membaca dan menulis [DynamicFrame](glue-etl-scala-apis-glue-dynamicframe.md) dari dan ke Amazon Simple Storage Service (Amazon S3), Katalog Data Glue AWS , JDBC, dan sebagainya. Kelas ini menyediakan fungsi utilitas untuk membuat objek [DataSource sifat](glue-etl-scala-apis-glue-datasource-trait.md) dan [DataSink](glue-etl-scala-apis-glue-datasink-class.md) yang pada gilirannya dapat digunakan untuk membaca dan menulis `DynamicFrame`.
Anda juga dapat menggunakan `GlueContext` untuk menetapkan target jumlah partisi (default 20) di `DynamicFrame` jika jumlah partisi yang dibuat dari sumber kurang dari ambang batas minimum untuk partisi (default 10).
## Kolom def addIngestionTime
```
def addIngestionTimeColumns(
df : DataFrame,
timeGranularity : String = "") : dataFrame
```
Menambahkan kolom waktu penyerapan seperti `ingest_year`, `ingest_month`, `ingest_day`, `ingest_hour`, `ingest_minute` ke input `DataFrame`. Fungsi ini secara otomatis dihasilkan dalam skrip yang dihasilkan oleh AWS Glue saat Anda menentukan tabel Katalog Data dengan Amazon S3 sebagai target. Fungsi ini secara otomatis memperbarui partisi dengan kolom waktu penyerapan pada tabel output. Hal ini memungkinkan data output dipartisi secara otomatis pada waktu penyerapan tanpa memerlukan kolom waktu penyerapan eksplisit dalam data input.
+ `dataFrame` — `dataFrame` yang akan ditambahi dengan kolom waktu penyerapan.
+ `timeGranularity` — Kedetailan dari kolom waktu. Nilai yang benar adalah "`day`", "`hour`" dan "`minute`". Misalnya, jika "`hour`" diberikan dalam fungsi, maka `dataFrame` asli akan memiliki kolom waktu "`ingest_year`", "`ingest_month`", "`ingest_day`", dan "`ingest_hour`" yang ditambahkan.
Mengembalikan bingkai data setelah menambahkan kolom kedetailan waktu.
Contoh:
```
glueContext.addIngestionTimeColumns(dataFrame, "hour")
```
## def createDataFrame FromOptions
```
def createDataFrameFromOptions( connectionType : String,
connectionOptions : JsonOptions,
transformationContext : String = "",
format : String = null,
formatOptions : JsonOptions = JsonOptions.empty
) : DataSource
```
Mengembalikan sebuah `DataFrame` dibuat dengan koneksi dan format yang ditentukan. Gunakan fungsi ini hanya dengan sumber streaming AWS Glue.
+ `connectionType`— Jenis koneksi streaming. Nilai yang valid mencakup `kinesis` dan `kafka`.
+ `connectionOptions`— Opsi koneksi, yang berbeda untuk Kinesis dan Kafka. Anda dapat menemukan daftar semua opsi koneksi untuk setiap sumber data streaming di [Jenis dan opsi koneksi untuk ETL di AWS Glue untuk Spark](aws-glue-programming-etl-connect.md). Perhatikan perbedaan berikut dalam pilihan koneksi streaming:
+ Sumber streaming Kinesis memerlukan `streamARN`, `startingPosition`, `inferSchema`, dan `classification`.
+ Sumber streaming Kafka membutuhkan `connectionName`, `topicName`, `startingOffsets`, `inferSchema`, dan `classification`.
+ `transformationContext`— Konteks transformasi yang akan digunakan (opsional).
+ `format`- Spesifikasi format (opsional). Ini digunakan untuk Amazon S3 atau AWS Glue koneksi yang mendukung berbagai format. Untuk informasi tentang format yang didukung, lihat [Opsi format data untuk input dan output untuk Spark AWS Glue](aws-glue-programming-etl-format.md)
+ `formatOptions`— Opsi format untuk format yang ditentukan. Untuk informasi tentang pilihan format yang didukung, lihat [Opsi format data](aws-glue-programming-etl-format.md).
Contoh untuk sumber streaming Amazon Kinesis:
```
val data_frame_datasource0 =
glueContext.createDataFrameFromOptions(transformationContext = "datasource0", connectionType = "kinesis",
connectionOptions = JsonOptions("""{"streamName": "example_stream", "startingPosition": "TRIM_HORIZON", "inferSchema": "true", "classification": "json"}}"""))
```
Contoh untuk sumber streaming Kafka:
```
val data_frame_datasource0 =
glueContext.createDataFrameFromOptions(transformationContext = "datasource0", connectionType = "kafka",
connectionOptions = JsonOptions("""{"connectionName": "example_connection", "topicName": "example_topic", "startingPosition": "earliest", "inferSchema": "false", "classification": "json", "schema":"`column1` STRING, `column2` STRING"}"""))
```
## forEachBatch
**`forEachBatch(frame, batch_function, options)`**
Menerapkan `batch_function` yang diberikan ke setiap batch mikro yang dibaca dari sumber Streaming.
+ `frame`— Yang DataFrame berisi batch mikro saat ini.
+ `batch_function` — Sebuah fungsi yang akan diterapkan untuk setiap batch mikro.
+ `options` — Kumpulan pasangan kunci-nilai yang menyimpan informasi tentang cara memproses batch mikro. Opsi-opsi berikut diperlukan:
+ `windowSize` — Jumlah waktu yang diperlukan untuk pemrosesan setiap batch.
+ `checkpointLocation` — Lokasi di mana pos pemeriksaan disimpan untuk tugas ETL streaming.
+ `batchMaxRetries` — Jumlah waktu maksimum untuk mengulang mencoba batch sekali lagi jika gagal. Nilai default-nya adalah 3. Opsi ini hanya dapat dikonfigurasi untuk Glue versi 2.0 dan di atasnya.
**Contoh:**
```
glueContext.forEachBatch(data_frame_datasource0, (dataFrame: Dataset[Row], batchId: Long) =>
{
if (dataFrame.count() > 0)
{
val datasource0 = DynamicFrame(glueContext.addIngestionTimeColumns(dataFrame, "hour"), glueContext)
// @type: DataSink
// @args: [database = "tempdb", table_name = "fromoptionsoutput", stream_batch_time = "100 seconds",
// stream_checkpoint_location = "s3://from-options-testing-eu-central-1/fromOptionsOutput/checkpoint/",
// transformation_ctx = "datasink1"]
// @return: datasink1
// @inputs: [frame = datasource0]
val options_datasink1 = JsonOptions(
Map("partitionKeys" -> Seq("ingest_year", "ingest_month","ingest_day", "ingest_hour"),
"enableUpdateCatalog" -> true))
val datasink1 = glueContext.getCatalogSink(
database = "tempdb",
tableName = "fromoptionsoutput",
redshiftTmpDir = "",
transformationContext = "datasink1",
additionalOptions = options_datasink1).writeDynamicFrame(datasource0)
}
}, JsonOptions("""{"windowSize" : "100 seconds",
"checkpointLocation" : "s3://from-options-testing-eu-central-1/fromOptionsOutput/checkpoint/"}"""))
```
## def getCatalogSink
```
def getCatalogSink( database : String,
tableName : String,
redshiftTmpDir : String = "",
transformationContext : String = ""
additionalOptions: JsonOptions = JsonOptions.empty,
catalogId: String = null
) : DataSink
```
Membuat sebuah [DataSink](glue-etl-scala-apis-glue-datasink-class.md) yang menulis ke lokasi yang ditentukan dalam tabel yang didefinisikan dalam Katalog Data.
+ `database` — Nama basis data dalam Katalog Data.
+ `tableName` — Nama tabel dalam Katalog Data.
+ `redshiftTmpDir` — Direktori pentahapan sementara yang akan digunakan dengan data sink tertentu. Diatur ke kosong secara default.
+ `transformationContext` — Konteks transformasi yang dikaitkan dengan sink yang akan digunakan oleh bookmark tugas. Diatur ke kosong secara default.
+ `additionalOptions`— Opsi tambahan yang disediakan untukAWS Glue.
+ `catalogId` — ID katalog (ID akun) dari Katalog Data yang sedang diakses. Bila nol, maka ID akun default pemanggil yang akan digunakan.
Mengembalikan `DataSink`.
## def getCatalogSource
```
def getCatalogSource( database : String,
tableName : String,
redshiftTmpDir : String = "",
transformationContext : String = ""
pushDownPredicate : String = " "
additionalOptions: JsonOptions = JsonOptions.empty,
catalogId: String = null
) : DataSource
```
Membuat sebuah [DataSource sifat](glue-etl-scala-apis-glue-datasource-trait.md) yang membaca data dari tabel definisi dalam Katalog Data.
+ `database` — Nama basis data dalam Katalog Data.
+ `tableName` — Nama tabel dalam Katalog Data.
+ `redshiftTmpDir` — Direktori pentahapan sementara yang akan digunakan dengan data sink tertentu. Diatur ke kosong secara default.
+ `transformationContext` — Konteks transformasi yang dikaitkan dengan sink yang akan digunakan oleh bookmark tugas. Diatur ke kosong secara default.
+ `pushDownPredicate` — Memfilter partisi tanpa harus mencantumkan dan membaca semua file dalam set data Anda. Untuk informasi selengkapnya, lihat [Pra-penyaringan menggunakan predikat pushdown](aws-glue-programming-etl-partitions.md#aws-glue-programming-etl-partitions-pushdowns).
+ `additionalOptions` — Kumpulan pasangan nama-nilai opsional. Opsi yang mungkin adalah opsi-opsi yang tercantum dalam [Jenis dan opsi koneksi untuk ETL di AWS Glue untuk Spark](aws-glue-programming-etl-connect.md) kecuali `endpointUrl`, `streamName`, `bootstrap.servers`, `security.protocol`, `topicName`, `classification`, dan `delimiter`. Opsi lain yang didukung adalah`catalogPartitionPredicate`:
`catalogPartitionPredicate`— Anda dapat meneruskan ekspresi katalog untuk memfilter berdasarkan kolom indeks. Ini mendorong penyaringan ke sisi server. Untuk informasi selengkapnya, lihat [Indeks AWS Glue Partisi](https://docs.aws.amazon.com/glue/latest/dg/partition-indexes.html). Perhatikan itu `push_down_predicate` dan `catalogPartitionPredicate` gunakan sintaks yang berbeda. Yang pertama menggunakan sintaks standar Spark SQL dan yang kemudian menggunakan parser JSQL.
+ `catalogId` — ID katalog (ID akun) dari Katalog Data yang sedang diakses. Bila nol, maka ID akun default pemanggil yang akan digunakan.
Mengembalikan `DataSource`.
**Contoh untuk sumber streaming**
```
val data_frame_datasource0 = glueContext.getCatalogSource(
database = "tempdb",
tableName = "test-stream-input",
redshiftTmpDir = "",
transformationContext = "datasource0",
additionalOptions = JsonOptions("""{
"startingPosition": "TRIM_HORIZON", "inferSchema": "false"}""")
).getDataFrame()
```
## def dapatkan JDBCSink
```
def getJDBCSink( catalogConnection : String,
options : JsonOptions,
redshiftTmpDir : String = "",
transformationContext : String = "",
catalogId: String = null
) : DataSink
```
Membuat sebuah [DataSink](glue-etl-scala-apis-glue-datasink-class.md) yang menulis ke basis data JDBC yang ditentukan dalam objek `Connection` dalam Katalog Data. Objek `Connection` memiliki informasi untuk terhubung ke sbuah sink JDBC, termasuk URL, nama pengguna, kata sandi, VPC, subnet, dan grup keamanan.
+ `catalogConnection` — Nama koneksi dalam Katalog Data yang berisi URL JDBC yang akan ditulisi.
+ `options` — Sebuah string pasangan nama-nilai JSON yang memberikan informasi tambahan yang diperlukan untuk menulis ke penyimpanan data JDBC. Hal ini mencakup:
+ *dbtable* (wajib) — Nama tabel JDBC. Untuk penyimpanan data JDBC yang mendukung skema dalam basis data, tentukan `schema.table-name`. Jika skema tidak disediakan, maka skema "publik" default digunakan. Contoh berikut menunjukkan parameter pilihan yang mengarahkan ke skema bernama `test` dan sebuah tabel bernama `test_table` dalam basis data `test_db`.
```
options = JsonOptions("""{"dbtable": "test.test_table", "database": "test_db"}""")
```
+ *database* (wajib) — Nama basis data JDBC.
+ Setiap pilihan tambahan diberikan langsung ke penulis JDBC SparkSQL. Untuk informasi selengkapnya, lihat [Sumber data Redshift untuk Spark](https://github.com/databricks/spark-redshift).
+ `redshiftTmpDir` — Sebuah direktori pentahapan sementara yang akan digunakan dengan data sink tertentu. Diatur ke kosong secara default.
+ `transformationContext` — Konteks transformasi yang dikaitkan dengan sink yang akan digunakan oleh bookmark tugas. Diatur ke kosong secara default.
+ `catalogId` — ID katalog (ID akun) dari Katalog Data yang sedang diakses. Bila nol, maka ID akun default pemanggil yang akan digunakan.
Kode contoh:
```
getJDBCSink(catalogConnection = "my-connection-name", options = JsonOptions("""{"dbtable": "my-jdbc-table", "database": "my-jdbc-db"}"""), redshiftTmpDir = "", transformationContext = "datasink4")
```
Mengembalikan `DataSink`.
## def getSink
```
def getSink( connectionType : String,
connectionOptions : JsonOptions,
transformationContext : String = ""
) : DataSink
```
Membuat file [DataSink](glue-etl-scala-apis-glue-datasink-class.md) yang menulis data ke tujuan seperti Amazon Simple Storage Service (Amazon S3), JDBC, atau Glue Data Catalog, atau AWS aliran data Apache Kafka atau Amazon Kinesis.
+ `connectionType` — Jenis koneksi. Lihat [Jenis dan opsi koneksi untuk ETL di AWS Glue untuk Spark](aws-glue-programming-etl-connect.md).
+ `connectionOptions` — Sebuah string pasangan nama-nilai JSON yang memberikan informasi tambahan untuk membangun koneksi dengan data sink. Lihat [Jenis dan opsi koneksi untuk ETL di AWS Glue untuk Spark](aws-glue-programming-etl-connect.md).
+ `transformationContext` — Konteks transformasi yang dikaitkan dengan sink yang akan digunakan oleh bookmark tugas. Diatur ke kosong secara default.
Mengembalikan `DataSink`.
## Format def getSinkWith
```
def getSinkWithFormat( connectionType : String,
options : JsonOptions,
transformationContext : String = "",
format : String = null,
formatOptions : JsonOptions = JsonOptions.empty
) : DataSink
```
Membuat [DataSink](glue-etl-scala-apis-glue-datasink-class.md) yang menulis data ke tujuan seperti Amazon S3, JDBC, atau Katalog Data, atau aliran data Apache Kafka atau Amazon Kinesis. Juga menetapkan format untuk data yang akan ditulis ke tujuan.
+ `connectionType` — Jenis koneksi. Lihat [Jenis dan opsi koneksi untuk ETL di AWS Glue untuk Spark](aws-glue-programming-etl-connect.md).
+ `options` — Sebuah string pasangan nama-nilai JSON yang memberikan informasi tambahan untuk membangun sebuah koneksi dengan data sink. Lihat [Jenis dan opsi koneksi untuk ETL di AWS Glue untuk Spark](aws-glue-programming-etl-connect.md).
+ `transformationContext` — Konteks transformasi yang dikaitkan dengan sink yang akan digunakan oleh bookmark tugas. Diatur ke kosong secara default.
+ `format` — Format data yang akan ditulis ke tujuan.
+ `formatOptions` — Sebuah string pasangan nama-nilai JSON yang menyediakan opsi tambahan untuk memformat data di tujuan. Lihat [Opsi format data](aws-glue-programming-etl-format.md).
Mengembalikan `DataSink`.
## def getSource
```
def getSource( connectionType : String,
connectionOptions : JsonOptions,
transformationContext : String = ""
pushDownPredicate
) : DataSource
```
Membuat [DataSource sifat](glue-etl-scala-apis-glue-datasource-trait.md) yang membaca data dari sumber seperti Amazon S3, JDBC, atau Glue AWS Data Catalog. Juga mendukung sumber data streaming Kafka dan Kinesis.
+ `connectionType` — Jenis sumber data. Lihat [Jenis dan opsi koneksi untuk ETL di AWS Glue untuk Spark](aws-glue-programming-etl-connect.md).
+ `connectionOptions` — Sebuah string pasangan nama-nilai JSON yang memberikan informasi tambahan untuk membangun sebuah koneksi dengan sumber data. Untuk informasi selengkapnya, lihat [Jenis dan opsi koneksi untuk ETL di AWS Glue untuk Spark](aws-glue-programming-etl-connect.md).
Sumber streaming Kinesis memerlukan opsi koneksi berikut: `streamARN`, `startingPosition`, `inferSchema`, dan `classification`.
Sumber streaming Kafka membutuhkan pilihan koneksi berikut: `connectionName`, `topicName`, `startingOffsets`, `inferSchema`, dan `classification`.
+ `transformationContext` — Konteks transformasi yang dikaitkan dengan sink yang akan digunakan oleh bookmark tugas. Diatur ke kosong secara default.
+ `pushDownPredicate` — Predikat pada kolom partisi.
Mengembalikan `DataSource`.
Contoh untuk sumber streaming Amazon Kinesis:
```
val kinesisOptions = jsonOptions()
data_frame_datasource0 = glueContext.getSource("kinesis", kinesisOptions).getDataFrame()
private def jsonOptions(): JsonOptions = {
new JsonOptions(
s"""{"streamARN": "arn:aws:kinesis:eu-central-1:123456789012:stream/fromOptionsStream",
|"startingPosition": "TRIM_HORIZON",
|"inferSchema": "true",
|"classification": "json"}""".stripMargin)
}
```
Contoh untuk sumber streaming Kafka:
```
val kafkaOptions = jsonOptions()
val data_frame_datasource0 = glueContext.getSource("kafka", kafkaOptions).getDataFrame()
private def jsonOptions(): JsonOptions = {
new JsonOptions(
s"""{"connectionName": "ConfluentKafka",
|"topicName": "kafka-auth-topic",
|"startingOffsets": "earliest",
|"inferSchema": "true",
|"classification": "json"}""".stripMargin)
}
```
## Format def getSourceWith
```
def getSourceWithFormat( connectionType : String,
options : JsonOptions,
transformationContext : String = "",
format : String = null,
formatOptions : JsonOptions = JsonOptions.empty
) : DataSource
```
Membuat [DataSource sifat](glue-etl-scala-apis-glue-datasource-trait.md) yang membaca data dari sumber seperti Amazon S3, JDBC, atau AWS Glue Data Catalog, dan juga menetapkan format data yang disimpan dalam sumber.
+ `connectionType` — Jenis sumber data. Lihat [Jenis dan opsi koneksi untuk ETL di AWS Glue untuk Spark](aws-glue-programming-etl-connect.md).
+ `options` — Sebuah string pasangan nama-nilai JSON yang memberikan informasi tambahan untuk membangun sebuah koneksi dengan sumber data. Lihat [Jenis dan opsi koneksi untuk ETL di AWS Glue untuk Spark](aws-glue-programming-etl-connect.md).
+ `transformationContext` — Konteks transformasi yang dikaitkan dengan sink yang akan digunakan oleh bookmark tugas. Diatur ke kosong secara default.
+ `format` — Format data yang disimpan pada sumber. Saat `connectionType` adalah "s3", Anda juga dapat menentukan `format`. Bisa berupa “avro”, “csv”, “groklog”, “ion”, “json”, “xml”, “parquet”, atau “orc”, salah satunya.
+ `formatOptions` — Sebuah string pasangan nama-nilai JSON yang menyediakan opsi tambahan untuk mengurai data di sumber. Lihat [Opsi format data](aws-glue-programming-etl-format.md).
Mengembalikan `DataSource`.
**Contoh**
Buat DynamicFrame dari sumber data yang merupakan file nilai yang dipisahkan koma (CSV) di Amazon S3:
```
val datasource0 = glueContext.getSourceWithFormat(
connectionType="s3",
options =JsonOptions(s"""{"paths": [ "s3://csv/nycflights.csv"]}"""),
transformationContext = "datasource0",
format = "csv",
formatOptions=JsonOptions(s"""{"withHeader":"true","separator": ","}""")
).getDynamicFrame()
```
Buat DynamicFrame dari sumber data yang merupakan PostgreSQL menggunakan koneksi JDBC:
```
val datasource0 = glueContext.getSourceWithFormat(
connectionType="postgresql",
options =JsonOptions(s"""{
"url":"jdbc:postgresql://databasePostgres-1.rds.amazonaws.com:5432/testdb",
"dbtable": "public.company",
"redshiftTmpDir":"",
"user":"username",
"password":"password123"
}"""),
transformationContext = "datasource0").getDynamicFrame()
```
Buat DynamicFrame dari sumber data yang merupakan MySQL menggunakan koneksi JDBC:
```
val datasource0 = glueContext.getSourceWithFormat(
connectionType="mysql",
options =JsonOptions(s"""{
"url":"jdbc:mysql://databaseMysql-1.rds.amazonaws.com:3306/testdb",
"dbtable": "athenatest_nycflights13_csv",
"redshiftTmpDir":"",
"user":"username",
"password":"password123"
}"""),
transformationContext = "datasource0").getDynamicFrame()
```
## def getSparkSession
```
def getSparkSession : SparkSession
```
Mendapat `SparkSession` objek yang terkait dengan ini GlueContext. Gunakan SparkSession objek ini untuk mendaftarkan tabel dan UDFs untuk digunakan dengan `DataFrame` dibuat dari DynamicFrames.
Mengembalikan SparkSession.
## def StartTransaksi
```
def startTransaction(readOnly: Boolean):String
```
Mulai transaksi baru. Secara internal memanggil Lake Formation [StartTransaction](https://docs.aws.amazon.com/lake-formation/latest/dg/aws-lake-formation-api-aws-lake-formation-api-transactions.html#aws-lake-formation-api-aws-lake-formation-api-transactions-StartTransaction) API.
+ `readOnly`— (Boolean) Menunjukkan apakah transaksi ini harus dibaca saja atau dibaca dan ditulis. Penulisan yang dibuat menggunakan ID transaksi hanya-baca akan ditolak. Transaksi read-only tidak perlu dilakukan.
Mengembalikan ID transaksi.
## def CommitTransaction
```
def commitTransaction(transactionId: String, waitForCommit: Boolean): Boolean
```
Upaya untuk melakukan transaksi yang ditentukan. `commitTransaction`dapat kembali sebelum transaksi selesai dilakukan. Secara internal memanggil Lake Formation [CommitTransaction API](https://docs.aws.amazon.com/lake-formation/latest/dg/aws-lake-formation-api-aws-lake-formation-api-transactions.html#aws-lake-formation-api-aws-lake-formation-api-transactions-CommitTransaction).
+ `transactionId`— (String) Transaksi untuk melakukan.
+ `waitForCommit`— (Boolean) Menentukan apakah `commitTransaction` pengembalian segera. Nilai default-nya adalah betul. Jika salah, `commitTransaction` polling dan menunggu sampai transaksi dilakukan. Jumlah waktu tunggu dibatasi hingga 1 menit menggunakan backoff eksponensial dengan maksimal 6 upaya coba lagi.
Mengembalikan Boolean untuk menunjukkan apakah komit dilakukan atau tidak.
## def batalkan Transaksi
```
def cancelTransaction(transactionId: String): Unit
```
Upaya untuk membatalkan transaksi yang ditentukan. Secara internal memanggil Lake Formation [CancelTransaction](https://docs.aws.amazon.com/lake-formation/latest/dg/aws-lake-formation-api-aws-lake-formation-api-transactions.html#aws-lake-formation-api-aws-lake-formation-api-transactions-CancelTransaction)API.
+ `transactionId`— (String) Transaksi untuk membatalkan.
Mengembalikan `TransactionCommittedException` pengecualian jika transaksi sebelumnya dilakukan.
## def this
```
def this( sc : SparkContext,
minPartitions : Int,
targetPartitions : Int )
```
Membuat sebuah objek `GlueContext` menggunakan `SparkContext` yang ditentukan, partisi minimum, dan partisi target.
+ `sc`—`SparkContext`.
+ `minPartitions` — Jumlah partisi minimum.
+ `targetPartitions` — Jumlah partisi target.
Mengembalikan `GlueContext`.
## def this
```
def this( sc : SparkContext )
```
Membuat sebuah objek `GlueContext` dengan `SparkContext` yang disediakan. Menetapkan partisi minimum ke 10 dan partisi target ke 20.
+ `sc`—`SparkContext`.
Mengembalikan `GlueContext`.
## def this
```
def this( sparkContext : JavaSparkContext )
```
Membuat sebuah objek `GlueContext` dengan `JavaSparkContext` yang disediakan. Menetapkan partisi minimum ke 10 dan partisi target ke 20.
+ `sparkContext`—`JavaSparkContext`.
Mengembalikan `GlueContext`.
# MappingSpec
**Package: com.amazonaws.services.glue**
## MappingSpec kelas kasus
```
case class MappingSpec( sourcePath: SchemaPath,
sourceType: DataType,
targetPath: SchemaPath,
targetType: DataTyp
) extends Product4[String, String, String, String] {
override def _1: String = sourcePath.toString
override def _2: String = ExtendedTypeName.fromDataType(sourceType)
override def _3: String = targetPath.toString
override def _4: String = ExtendedTypeName.fromDataType(targetType)
}
```
+ `sourcePath` — `SchemaPath` dari bidang sumber.
+ `sourceType` — `DataType` dari bidang sumber.
+ `targetPath` — `SchemaPath` dari bidang target.
+ `targetType` — `DataType` dari bidang target.
Sebuah `MappingSpec` menentukan pemetaan dari path sumber dan tipe data sumber ke path target dan tipe data target. Nilai di path sumber dalam bingkai sumber muncul dalam bingkai target di path target. Jenis sumber data diubah ke tipe data target.
Ia meluas dari `Product4` sehingga Anda dapat menangani `Product4` di antarmuka `applyMapping` Anda.
## MappingSpec objek
```
object MappingSpec
```
Objek `MappingSpec` memiliki anggota-anggota berikut:
## Val orderingByTarget
```
val orderingByTarget: Ordering[MappingSpec]
```
## Def berlaku
```
def apply( sourcePath : String,
sourceType : DataType,
targetPath : String,
targetType : DataType
) : MappingSpec
```
Membuat sebuah `MappingSpec`.
+ `sourcePath` — Sebuah representasi string dari path sumber.
+ `sourceType` — `DataType` sumber.
+ `targetPath` — Sebuah representasi string dari path target.
+ `targetType` — `DataType` target.
Mengembalikan `MappingSpec`.
## Def berlaku
```
def apply( sourcePath : String,
sourceTypeString : String,
targetPath : String,
targetTypeString : String
) : MappingSpec
```
Membuat sebuah `MappingSpec`.
+ `sourcePath` — Sebuah representasi string dari path sumber.
+ `sourceType` — Sebuah representasi string dari tipe data sumber.
+ `targetPath` — Sebuah representasi string dari path target.
+ `targetType` — Sebuah representasi string dari tipe data target.
Mengembalikan a MappingSpec.
## Def berlaku
```
def apply( product : Product4[String, String, String, String] ) : MappingSpec
```
Membuat sebuah `MappingSpec`.
+ `product` — `Product4` dari path sumber, tipe data sumber, path target, dan tipe data target.
Mengembalikan `MappingSpec`.
# AWS GlueScala ResolveSpec APIs
**Topics**
+ [ResolveSpec objek](#glue-etl-scala-apis-glue-resolvespec-object)
+ [ResolveSpec kelas kasus](#glue-etl-scala-apis-glue-resolvespec-case-class)
**Package: com.amazonaws.services.glue**
## ResolveSpec objek
**ResolveSpec**
```
object ResolveSpec
```
### Def
```
def apply( path : String,
action : String
) : ResolveSpec
```
Membuat sebuah `ResolveSpec`.
+ `path` — Sebuah representasi string dari bidang pilihan yang perlu diubah.
+ `action` — Sebuah tindakan resolusi. Tindakan tersebut dapat berupa salah satu dari yang berikut ini: `Project`, `KeepAsStruct`, atau `Cast`.
Mengembalikan `ResolveSpec`.
### Def
```
def apply( product : Product2[String, String] ) : ResolveSpec
```
Membuat sebuah `ResolveSpec`.
+ `product` — `Product2` dari: path sumber, tindakan resolusi.
Mengembalikan `ResolveSpec`.
## ResolveSpec kelas kasus
```
case class ResolveSpec extends Product2[String, String] (
path : SchemaPath,
action : String )
```
Membuat sebuah `ResolveSpec`.
+ `path` — `SchemaPath` dari bidang pilihan yang perlu diubah.
+ `action` — Sebuah tindakan resolusi. Tindakan tersebut dapat berupa salah satu dari yang berikut ini: `Project`, `KeepAsStruct`, atau `Cast`.
### ResolveSpec metode def
```
def _1 : String
```
```
def _2 : String
```
# AWS GlueScala ArrayNode APIs
**Package: com.amazonaws.services.glue.types**
## ArrayNode kelas kasus
**ArrayNode**
```
case class ArrayNode extends DynamicNode (
value : ArrayBuffer[DynamicNode] )
```
### ArrayNode metode def
```
def add( node : DynamicNode )
```
```
def clone
```
```
def equals( other : Any )
```
```
def get( index : Int ) : Option[DynamicNode]
```
```
def getValue
```
```
def hashCode : Int
```
```
def isEmpty : Boolean
```
```
def nodeType
```
```
def remove( index : Int )
```
```
def this
```
```
def toIterator : Iterator[DynamicNode]
```
```
def toJson : String
```
```
def update( index : Int,
node : DynamicNode )
```
# AWS GlueScala BinaryNode APIs
**Package: com.amazonaws.services.glue.types**
## BinaryNode kelas kasus
**BinaryNode**
```
case class BinaryNode extends ScalarNode(value, TypeCode.BINARY) (
value : Array[Byte] )
```
### BinaryNode bidang val
+ `ordering`
### BinaryNode metode def
```
def clone
```
```
def equals( other : Any )
```
```
def hashCode : Int
```
# AWS GlueScala BooleanNode APIs
**Package: com.amazonaws.services.glue.types**
## BooleanNode kelas kasus
**BooleanNode**
```
case class BooleanNode extends ScalarNode(value, TypeCode.BOOLEAN) (
value : Boolean )
```
### BooleanNode bidang val
+ `ordering`
### BooleanNode metode def
```
def equals( other : Any )
```
# AWS GlueScala ByteNode APIs
**Package: com.amazonaws.services.glue.types**
## ByteNode kelas kasus
**ByteNode**
```
case class ByteNode extends ScalarNode(value, TypeCode.BYTE) (
value : Byte )
```
### ByteNode bidang val
+ `ordering`
### ByteNode metode def
```
def equals( other : Any )
```
# AWS GlueScala DateNode APIs
**Package: com.amazonaws.services.glue.types**
## DateNode kelas kasus
**DateNode**
```
case class DateNode extends ScalarNode(value, TypeCode.DATE) (
value : Date )
```
### DateNode bidang val
+ `ordering`
### DateNode metode def
```
def equals( other : Any )
```
```
def this( value : Int )
```
# AWS GlueScala DecimalNode APIs
**Package: com.amazonaws.services.glue.types**
## DecimalNode kelas kasus
**DecimalNode**
```
case class DecimalNode extends ScalarNode(value, TypeCode.DECIMAL) (
value : BigDecimal )
```
### DecimalNode bidang val
+ `ordering`
### DecimalNode metode def
```
def equals( other : Any )
```
```
def this( value : Decimal )
```
# AWS GlueScala DoubleNode APIs
**Package: com.amazonaws.services.glue.types**
## DoubleNode kelas kasus
**DoubleNode**
```
case class DoubleNode extends ScalarNode(value, TypeCode.DOUBLE) (
value : Double )
```
### DoubleNode bidang val
+ `ordering`
### DoubleNode metode def
```
def equals( other : Any )
```
# AWS GlueScala DynamicNode APIs
**Topics**
+ [DynamicNode kelas](#glue-etl-scala-apis-glue-types-dynamicnode-class)
+ [DynamicNode objek](#glue-etl-scala-apis-glue-types-dynamicnode-object)
**Package: com.amazonaws.services.glue.types**
## DynamicNode kelas
**DynamicNode**
```
class DynamicNode extends Serializable with Cloneable
```
### DynamicNode metode def
```
def getValue : Any
```
Dapatkan nilai biasa dan mengikat catatan saat ini:
```
def nodeType : TypeCode
```
```
def toJson : String
```
Metode untuk debug:
```
def toRow( schema : Schema,
options : Map[String, ResolveOption]
) : Row
```
```
def typeName : String
```
## DynamicNode objek
**DynamicNode**
```
object DynamicNode
```
### DynamicNode metode def
```
def quote( field : String,
useQuotes : Boolean
) : String
```
```
def quote( node : DynamicNode,
useQuotes : Boolean
) : String
```
# EvaluateDataQuality kelas
| |
| --- |
| AWS Kualitas Data Glue dalam rilis pratinjau untuk AWS Glue dan dapat berubah sewaktu-waktu. |
**Package: com.amazonaws.services.glue.dq**
```
object EvaluateDataQuality
```
## Def berlaku
```
def apply(frame: DynamicFrame,
ruleset: String,
publishingOptions: JsonOptions = JsonOptions.empty): DynamicFrame
```
Mengevaluasi aturan kualitas data terhadap`DynamicFrame`, dan mengembalikan yang baru `DynamicFrame` dengan hasil evaluasi. Untuk mempelajari lebih lanjut tentang Kualitas Data AWS Glue, lihat[AWS Glue Kualitas Data](glue-data-quality.md).
+ `frame`— `DynamicFrame` Yang ingin Anda evaluasi kualitas data.
+ `ruleset`— Aturan Bahasa Definisi Kualitas Data (DQDL) dalam format string. Untuk mempelajari lebih lanjut tentang DQDL, lihat panduan. [Referensi Bahasa Definisi Kualitas Data (DQDL)](dqdl.md)
+ `publishingOptions`— Kamus yang menentukan opsi berikut untuk mempublikasikan hasil evaluasi dan metrik:
+ `dataQualityEvaluationContext`— String yang menentukan namespace di mana AWS Glue harus mempublikasikan Amazon CloudWatch metrik dan hasil kualitas data. Metrik agregat muncul di CloudWatch, sementara hasil lengkap muncul di antarmuka AWS Glue Studio.
+ Wajib: Tidak
+ Nilai default: `default_context`
+ `enableDataQualityCloudWatchMetrics`— Menentukan apakah hasil evaluasi kualitas data harus dipublikasikan ke CloudWatch. Anda menentukan namespace untuk metrik menggunakan opsi. `dataQualityEvaluationContext`
+ Wajib: Tidak
+ Nilai default: Salah
+ `enableDataQualityResultsPublishing`— Menentukan apakah hasil kualitas data harus terlihat pada tab **Kualitas Data** di antarmuka AWS Glue Studio.
+ Wajib: Tidak
+ Nilai default: Benar
+ `resultsS3Prefix`— Menentukan lokasi Amazon S3 di mana AWS Glue dapat menulis hasil evaluasi kualitas data.
+ Wajib: Tidak
+ Nilai default: “” (string kosong)
## Contoh
Contoh kode berikut menunjukkan bagaimana mengevaluasi kualitas data untuk `DynamicFrame` sebelum melakukan `SelectFields` transformasi. Skrip memverifikasi bahwa semua aturan kualitas data lulus sebelum mencoba transformasi.
```
import com.amazonaws.services.glue.GlueContext
import com.amazonaws.services.glue.MappingSpec
import com.amazonaws.services.glue.errors.CallSite
import com.amazonaws.services.glue.util.GlueArgParser
import com.amazonaws.services.glue.util.Job
import com.amazonaws.services.glue.util.JsonOptions
import org.apache.spark.SparkContext
import scala.collection.JavaConverters._
import com.amazonaws.services.glue.dq.EvaluateDataQuality
object GlueApp {
def main(sysArgs: Array[String]) {
val spark: SparkContext = new SparkContext()
val glueContext: GlueContext = new GlueContext(spark)
// @params: [JOB_NAME]
val args = GlueArgParser.getResolvedOptions(sysArgs, Seq("JOB_NAME").toArray)
Job.init(args("JOB_NAME"), glueContext, args.asJava)
// Create DynamicFrame with data
val Legislators_Area = glueContext.getCatalogSource(database="legislators", tableName="areas_json", transformationContext="S3bucket_node1").getDynamicFrame()
// Define data quality ruleset
val DQ_Ruleset = """
Rules = [ColumnExists "id"]
"""
// Evaluate data quality
val DQ_Results = EvaluateDataQuality.apply(frame=Legislators_Area, ruleset=DQ_Ruleset, publishingOptions=JsonOptions("""{"dataQualityEvaluationContext": "Legislators_Area", "enableDataQualityMetrics": "true", "enableDataQualityResultsPublishing": "true"}"""))
assert(DQ_Results.filter(_.getField("Outcome").contains("Failed")).count == 0, "Failing DQ rules for Legislators_Area caused the job to fail.")
// Script generated for node Select Fields
val SelectFields_Results = Legislators_Area.selectFields(paths=Seq("id", "name"), transformationContext="Legislators_Area")
Job.commit()
}
}
```
# AWS GlueScala FloatNode APIs
**Package: com.amazonaws.services.glue.types**
## FloatNode kelas kasus
**FloatNode**
```
case class FloatNode extends ScalarNode(value, TypeCode.FLOAT) (
value : Float )
```
### FloatNode bidang val
+ `ordering`
### FloatNode metode def
```
def equals( other : Any )
```
# FillMissingValues kelas
**Package: com.amazonaws.services.glue.ml**
```
object FillMissingValues
```
## Def berlaku
```
def apply(frame: DynamicFrame,
missingValuesColumn: String,
outputColumn: String = "",
transformationContext: String = "",
callSite: CallSite = CallSite("Not provided", ""),
stageThreshold: Long = 0,
totalThreshold: Long = 0): DynamicFrame
```
Mengisi nilai-nilai yang hilang dari bingkai dinamis dalam kolom yang ditentukan dan mengembalikan bingkai baru dengan perkiraan dalam sebuah kolom baru. Untuk baris tanpa nilai yang hilang, nilai kolom yang ditentukan diduplikasi ke kolom baru tersebut.
+ `frame`— DynamicFrame Di mana untuk mengisi nilai yang hilang. Wajib.
+ `missingValuesColumn` — Kolom yang berisi nilai-nilai yang hilang (nilai `null` dan string kosong). Wajib.
+ `outputColumn` — Nama kolom baru yang akan berisi perkiraan nilai untuk semua baris yang nilainya hilang. Opsional; default-nya adalah nilai `missingValuesColumn` dengan sufiks `"_filled"`.
+ `transformationContext` — Sebuah string unik yang digunakan untuk mengidentifikasi informasi status (opsional).
+ `callSite` — Digunakan untuk menyediakan informasi konteks untuk pelaporan kesalahan. (opsional).
+ `stageThreshold` — Jumlah maksimum kesalahan yang dapat terjadi dalam transformasi sebelum kesalahan keluar (opsional; default-nya adalah nol).
+ `totalThreshold` — Jumlah maksimum kesalahan yang dapat terjadi secara keseluruhan sebelum kesalahan keluar (opsional; default-nya adalah nol).
Mengembalikan bingkai dinamis baru dengan satu kolom tambahan yang berisi perkiraan untuk baris dengan nilai-nilai yang hilang dan nilai sekarang untuk baris lainnya.
# FindMatches kelas
**Package: com.amazonaws.services.glue.ml**
```
object FindMatches
```
## Def berlaku
```
def apply(frame: DynamicFrame,
transformId: String,
transformationContext: String = "",
callSite: CallSite = CallSite("Not provided", ""),
stageThreshold: Long = 0,
totalThreshold: Long = 0,
enforcedMatches: DynamicFrame = null): DynamicFrame,
computeMatchConfidenceScores: Boolean
```
Temukan kecocokan dalam bingkai input dan kembalikan bingkai baru dengan kolom baru yang berisi ID unik per grup kecocokan.
+ `frame`— Tempat DynamicFrame untuk menemukan kecocokan. Wajib.
+ `transformId`— ID unik yang terkait dengan FindMatches transformasi untuk diterapkan pada bingkai input. Wajib.
+ `transformationContext` — Pengidentifikasi untuk `DynamicFrame` ini. `transformationContext` digunakan sebagai kunci untuk status bookmark tugas yang tetap ada di seluruh eksekusi. Tidak wajib.
+ `callSite` — Digunakan untuk menyediakan informasi konteks untuk pelaporan kesalahan. Nilai-nilai ini secara otomatis ditetapkan ketika memanggil dari Python. Tidak wajib.
+ `stageThreshold` — Jumlah maksimum catatan kesalahan yang diizinkan dari komputasi `DynamicFrame` ini sebelum melemparkan pengecualian, tidak termasuk catatan yang ada dalam `DynamicFrame` sebelumnya. Tidak wajib. Default-nya adalah nol.
+ `totalThreshold` — Jumlah maksimum total catatan kesalahan sebelum pengecualian dilemparkan, termasuk yang dari bingkai sebelumnya. Tidak wajib. Default-nya adalah nol.
+ `enforcedMatches` — Bingkai untuk kecocokan yang diberlakukan. Tidak wajib. Nilai default-nya `null`.
+ `computeMatchConfidenceScores`— Nilai Boolean yang menunjukkan apakah akan menghitung skor kepercayaan untuk setiap kelompok catatan yang cocok. Tidak wajib. Default-nya adalah salah.
Mengembalikan sebuah bingkai dinamis baru dengan pengidentifikasi unik yang ditetapkan untuk setiap grup catatan yang cocok.
# FindIncrementalMatches kelas
**Package: com.amazonaws.services.glue.ml**
```
object FindIncrementalMatches
```
## Def berlaku
```
apply(existingFrame: DynamicFrame,
incrementalFrame: DynamicFrame,
transformId: String,
transformationContext: String = "",
callSite: CallSite = CallSite("Not provided", ""),
stageThreshold: Long = 0,
totalThreshold: Long = 0,
enforcedMatches: DynamicFrame = null): DynamicFrame,
computeMatchConfidenceScores: Boolean
```
Menemukan kecocokan di seluruh bingkai yang ada dan bingkai tambahan dan mengembalikan bingkai baru dengan kolom yang berisi ID unik per grup kecocokan.
+ `existingframe` — Sebuah bingkai yang ada yang telah ditetapkan ID kecocokan untuk setiap grup. Wajib.
+ `incrementalframe` — Sebuah bingkai tambahan yang digunakan untuk menemukan kecocokan berdasarkan bingkai yang ada. Wajib.
+ `transformId`— ID unik yang terkait dengan FindIncrementalMatches transformasi untuk diterapkan pada frame input. Wajib.
+ `transformationContext` — Pengidentifikasi untuk `DynamicFrame` ini. `transformationContext` digunakan sebagai kunci untuk status bookmark tugas yang tetap ada di seluruh eksekusi. Tidak wajib.
+ `callSite` — Digunakan untuk menyediakan informasi konteks untuk pelaporan kesalahan. Nilai-nilai ini secara otomatis ditetapkan ketika memanggil dari Python. Tidak wajib.
+ `stageThreshold` — Jumlah maksimum catatan kesalahan yang diizinkan dari komputasi `DynamicFrame` ini sebelum melemparkan pengecualian, tidak termasuk catatan yang ada dalam `DynamicFrame` sebelumnya. Tidak wajib. Default-nya adalah nol.
+ `totalThreshold` — Jumlah maksimum total catatan kesalahan sebelum pengecualian dilemparkan, termasuk yang dari bingkai sebelumnya. Tidak wajib. Default-nya adalah nol.
+ `enforcedMatches` — Bingkai untuk kecocokan yang diberlakukan. Tidak wajib. Nilai default-nya `null`.
+ `computeMatchConfidenceScores`— Nilai Boolean yang menunjukkan apakah akan menghitung skor kepercayaan untuk setiap kelompok catatan yang cocok. Tidak wajib. Default-nya adalah salah.
Mengembalikan sebuah bingkai dinamis baru dengan pengidentifikasi unik yang ditetapkan untuk setiap grup catatan yang cocok.
# AWS GlueScala IntegerNode APIs
**Package: com.amazonaws.services.glue.types**
## IntegerNode kelas kasus
**IntegerNode**
```
case class IntegerNode extends ScalarNode(value, TypeCode.INT) (
value : Int )
```
### IntegerNode bidang val
+ `ordering`
### IntegerNode metode def
```
def equals( other : Any )
```
# AWS GlueScala LongNode APIs
**Package: com.amazonaws.services.glue.types**
## LongNode kelas kasus
**LongNode**
```
case class LongNode extends ScalarNode(value, TypeCode.LONG) (
value : Long )
```
### LongNode bidang val
+ `ordering`
### LongNode metode def
```
def equals( other : Any )
```
# AWS GlueScala MapLikeNode APIs
**Package: com.amazonaws.services.glue.types**
## MapLikeNode kelas
**MapLikeNode**
```
class MapLikeNode extends DynamicNode (
value : mutable.Map[String, DynamicNode] )
```
### MapLikeNode metode def
```
def clear : Unit
```
```
def get( name : String ) : Option[DynamicNode]
```
```
def getValue
```
```
def has( name : String ) : Boolean
```
```
def isEmpty : Boolean
```
```
def put( name : String,
node : DynamicNode
) : Option[DynamicNode]
```
```
def remove( name : String ) : Option[DynamicNode]
```
```
def toIterator : Iterator[(String, DynamicNode)]
```
```
def toJson : String
```
```
def toJson( useQuotes : Boolean ) : String
```
**Contoh:** Mengingat JSON ini:
```
{"foo": "bar"}
```
Jika `useQuotes == true`, `toJson` menghasilkan `{"foo": "bar"}`. Jika `useQuotes == false`, `toJson` menghasilkan `{foo: bar}` @return.
# AWS GlueScala MapNode APIs
**Package: com.amazonaws.services.glue.types**
## MapNode kelas kasus
**MapNode**
```
case class MapNode extends MapLikeNode(value) (
value : mutable.Map[String, DynamicNode] )
```
### MapNode metode def
```
def clone
```
```
def equals( other : Any )
```
```
def hashCode : Int
```
```
def nodeType
```
```
def this
```
# AWS GlueScala NullNode APIs
**Topics**
+ [NullNode kelas](#glue-etl-scala-apis-glue-types-nullnode-class)
+ [NullNode objek kasus](#glue-etl-scala-apis-glue-types-nullnode-case-object)
**Package: com.amazonaws.services.glue.types**
## NullNode kelas
**NullNode**
```
class NullNode
```
## NullNode objek kasus
**NullNode**
```
case object NullNode extends NullNode
```
# AWS GlueScala ObjectNode APIs
**Topics**
+ [ObjectNode objek](#glue-etl-scala-apis-glue-types-objectnode-object)
+ [ObjectNode kelas kasus](#glue-etl-scala-apis-glue-types-objectnode-case-class)
**Package: com.amazonaws.services.glue.types**
## ObjectNode objek
**ObjectNode**
```
object ObjectNode
```
### ObjectNode metode def
```
def apply( frameKeys : Set[String],
v1 : mutable.Map[String, DynamicNode],
v2 : mutable.Map[String, DynamicNode],
resolveWith : String
) : ObjectNode
```
## ObjectNode kelas kasus
**ObjectNode**
```
case class ObjectNode extends MapLikeNode(value) (
val value : mutable.Map[String, DynamicNode] )
```
### ObjectNode metode def
```
def clone
```
```
def equals( other : Any )
```
```
def hashCode : Int
```
```
def nodeType
```
```
def this
```
# AWS GlueScala ScalarNode APIs
**Topics**
+ [ScalarNode kelas](#glue-etl-scala-apis-glue-types-scalarnode-class)
+ [ScalarNode objek](#glue-etl-scala-apis-glue-types-scalarnode-object)
**Package: com.amazonaws.services.glue.types**
## ScalarNode kelas
**ScalarNode**
```
class ScalarNode extends DynamicNode (
value : Any,
scalarType : TypeCode )
```
### ScalarNode metode def
```
def compare( other : Any,
operator : String
) : Boolean
```
```
def getValue
```
```
def hashCode : Int
```
```
def nodeType
```
```
def toJson
```
## ScalarNode objek
**ScalarNode**
```
object ScalarNode
```
### ScalarNode metode def
```
def apply( v : Any ) : DynamicNode
```
```
def compare( tv : Ordered[T],
other : T,
operator : String
) : Boolean
```
```
def compareAny( v : Any,
y : Any,
o : String )
```
```
def withEscapedSpecialCharacters( jsonToEscape : String ) : String
```
# AWS GlueScala ShortNode APIs
**Package: com.amazonaws.services.glue.types**
## ShortNode kelas kasus
**ShortNode**
```
case class ShortNode extends ScalarNode(value, TypeCode.SHORT) (
value : Short )
```
### ShortNode bidang val
+ `ordering`
### ShortNode metode def
```
def equals( other : Any )
```
# AWS GlueScala StringNode APIs
**Package: com.amazonaws.services.glue.types**
## StringNode kelas kasus
**StringNode**
```
case class StringNode extends ScalarNode(value, TypeCode.STRING) (
value : String )
```
### StringNode bidang val
+ `ordering`
### StringNode metode def
```
def equals( other : Any )
```
```
def this( value : UTF8String )
```
# AWS GlueScala TimestampNode APIs
**Package: com.amazonaws.services.glue.types**
## TimestampNode kelas kasus
**TimestampNode**
```
case class TimestampNode extends ScalarNode(value, TypeCode.TIMESTAMP) (
value : Timestamp )
```
### TimestampNode bidang val
+ `ordering`
### TimestampNode metode def
```
def equals( other : Any )
```
```
def this( value : Long )
```
# AWS GlueScala GlueArgParser APIs
**Package: com.amazonaws.services.glue.util**
## GlueArgParser objek
**GlueArgParser**
```
object GlueArgParser
```
Ini sangat konsisten dengan versi Python dari `utils.getResolvedOptions` dalam paket `AWSGlueDataplanePython`.
### GlueArgParser metode def
```
def getResolvedOptions( args : Array[String],
options : Array[String]
) : Map[String, String]
```
```
def initParser( userOptionsSet : mutable.Set[String] ) : ArgumentParser
```
**Example Mengambil argumen diteruskan ke pekerjaan**
Untuk mengambil argumen pekerjaan, Anda dapat menggunakan `getResolvedOptions` metode ini. Perhatikan contoh berikut, yang mengambil argumen pekerjaan bernama`aws_region`.
```
val args = GlueArgParser.getResolvedOptions(sysArgs, Seq("JOB_NAME","aws_region").toArray)
Job.init(args("JOB_NAME"), glueContext, args.asJava)
val region = args("aws_region")
println(region)
```
# AWS GluePekerjaan Scala APIs
**Package: com.amazonaws.services.glue.util**
## Objek Job
**Job**
```
object Job
```
### Metode Job def
```
def commit
```
```
def init( jobName : String,
glueContext : GlueContext,
args : java.util.Map[String, String] = Map[String, String]().asJava
) : this.type
```
```
def init( jobName : String,
glueContext : GlueContext,
endpoint : String,
args : java.util.Map[String, String]
) : this.type
```
```
def isInitialized
```
```
def reset
```
```
def runId
```