在 AWS Glue 中串流 ETL 任務

• Avro 串流來源的注意事項與限制

• 將 grok 模式套用至串流來源

為 Amazon Kinesis Data Streams 設定串流 ETL 屬性 (AWS Glue API 或 AWS CLI)

• 若要為相同帳戶中的 Kinesis 來源設定串流 ETL 屬性，請在 CreateTable API 操作或 create_table CLI 命令的 StorageDescriptor 結構中指定 streamName 和 endpointUrl 參數。

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamName": "sample-stream",
  		"endpointUrl": "https://kinesis.us-east-1.amazonaws.com"
  	}
  	...
  }
  					

  或者，指定 streamARN。

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream"
  	}
  	...
  }

• 若要為另一個帳戶中的 Kinesis 來源設定串流 ETL 屬性，請在 CreateTable API 操作或 create_table CLI 命令的 StorageDescriptor 結構中指定 streamARN、awsSTSRoleARN 和 awsSTSSessionName (選用) 參數。

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream",
  		"awsSTSRoleARN": "arn:aws:iam::123456789:role/sample-assume-role-arn",
  		"awsSTSSessionName": "optional-session"
  	}
  	...
  }

• 開啟結構描述偵測時，Avro 結構描述必須包含在裝載中。關閉時，裝載應該只包含資料。

• 動態框架不支援某些 Avro 資料類型。在 AWS Glue 主控台的建立資料表精靈 Define a schema (定義結構描述) 頁面中定義結構描述時，您無法指定這些資料類型。在結構描述偵測期間，Avro 結構描述中不支援的類型會轉換成支援的類型，如下所示：

  • EnumType => StringType

  • FixedType => BinaryType

  • UnionType => StructType

• 如果您使用主控台中 Define a schema (定義結構描述) 頁面來定義資料表結構描述，則結構描述的隱含根元素類型為 record。如果您想要 record 以外的根元素類型，例如 array 或 map，則無法使用 Define a schema (定義結構描述) 頁面指定結構描述。相反，您必須略過該頁面，並將結構描述指定為資料表屬性或在 ETL 指令碼內指定。

  • 若要在資料表屬性中指定結構描述，請完成建立資料表精靈、編輯資料表詳細資訊，並在 Table properties (資料表屬性) 下新增鍵值對。使用鍵 avroSchema，然後輸入值的結構描述 JSON 物件，如下列螢幕擷取畫面所示。

    

  • 若要在 ETL 指令碼中指定結構描述，請修改 datasource0 指派陳述式，並新增 avroSchema 鍵至 additional_options 參數，如下列 Python 和 Scala 範例所示。

    Python

    SCHEMA_STRING = ‘{"type":"array","items":"string"}’
    datasource0 = glueContext.create_data_frame.from_catalog(database = "database", table_name = "table_name", transformation_ctx = "datasource0", additional_options = {"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema": SCHEMA_STRING})
    

    Scala

    val SCHEMA_STRING = """{"type":"array","items":"string"}"""
    val datasource0 = glueContext.getCatalogSource(database = "database", tableName = "table_name", redshiftTmpDir = "", transformationContext = "datasource0", additionalOptions = JsonOptions(s"""{"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema":"$SCHEMA_STRING"}""")).getDataFrame()
    

• 自動解壓縮 AWS Glue 串流 ETL 作業僅適用於支援的壓縮類型。同時請注意以下各項：

  • 框架式 Snappy 指的是官方 Snappy 框架格式。

  • Glue 3.0 版支援 Deflate，而 Glue 2.0 版不支援。

• 使用結構描述偵測時，您無法執行串流資料的聯結。

• AWS Glue 串流 ETL 任務不支援 Avro 格式 AWS Glue 結構描述登錄檔的 Union 資料類型。

• 您的 ETL 指令碼可以使用 Apache Spark 結構化串流原生的 AWS Glue 內建轉換。如需詳細資訊，請參閱 Apache Spark 網站上的串流 DataFrames/資料集上的操作或 AWS Glue PySpark 轉換參考。

• AWS Glue 串流 ETL 任務使用檢查點來追蹤已讀取的資料。因此，已停止再重新啟動的任務會從原先在串流中停止的位置接續下去。如果想要重新處理資料，您可以刪除指令碼中參考的檢查點資料夾。

• 不支援任務書籤。

• 若要在任務中使用 Kinesis Data Streams 的強化廣發功能，請參閱 在 Kinesis 串流任務中使用強化廣發功能。

• 如果使用從 AWS Glue 結構描述登錄檔建立的 Data Catalog 資料表，則當新的結構描述版本可用時，為了反映新的結構描述，您需要執行以下操作：

  1. 停止與資料表相關聯的任務。

  2. 更新「 Data Catalog 」資料表的結構描述。

  3. 重新啟動與資料表相關聯的任務。