安裝 SerDe 程式庫 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

安裝 SerDe 程式庫

SerDe 程式庫提供序列化和還原序列化資料的架構。

您將為產生資料的應用程式安裝開源序列化程式 (統稱為「序列化程式」)。序列化程式會處理序列化、壓縮以及與結構描述登錄檔的互動。序列化程式會自動從寫入結構描述登錄檔相容目的地的記錄擷取結構描述,例如 Amazon MSK。同樣地,您將在使用資料的應用程式上安裝開源還原序列化程式。

序列化程式的 IAM 範例

注意

AWS 受管政策會授予常見使用案例的必要許可。如需使用受管政策來管理結構描述登錄檔的相關資訊,請參閱AWS Glue 的 AWS 受管 (預先定義) 政策

對於序列化程式,您應該建立類似於下面的最小政策,以便您能夠找到特定結構描述定義的 schemaVersionId。請注意,您應該有登錄檔的讀取許可,才能讀取登錄檔中的結構描述。您可以使用 Resource 子句,限制可以讀取的登錄檔。

程式碼範例 13:

{ "Sid" : "GetSchemaByDefinition", "Effect" : "Allow", "Action" : [ "glue:GetSchemaByDefinition" ], "Resource" : ["arn:aws:glue:us-east-2:012345678:registry/registryname-1", "arn:aws:glue:us-east-2:012345678:schema/registryname-1/schemaname-1", "arn:aws:glue:us-east-2:012345678:schema/registryname-1/schemaname-2" ] }

此外,您還可以允許生產者透過包括以下額外的方法來建立新的結構描述和版本。請注意,您應該能夠檢查登錄檔以新增/刪除/演變其中的結構描述。您可以使用 Resource 子句,限制可以檢查的登錄檔。

程式碼範例 14:

{ "Sid" : "RegisterSchemaWithMetadata", "Effect" : "Allow", "Action" : [ "glue:GetSchemaByDefinition", "glue:CreateSchema", "glue:RegisterSchemaVersion", "glue:PutSchemaVersionMetadata", ], "Resource" : ["arn:aws:glue:aws-region:123456789012:registry/registryname-1", "arn:aws:glue:aws-region:123456789012:schema/registryname-1/schemaname-1", "arn:aws:glue:aws-region:123456789012:schema/registryname-1/schemaname-2" ] }

還原序列化程式的 IAM 範例

對於還原序列化程式 (消費者方面),您應該建立類似下面的政策,以允許還原序列化程式從結構描述登錄檔中擷取結構描述以進行還原序列化。請注意,您應該能夠檢查登錄檔以擷取其中的結構描述。

程式碼範例 15:

{ "Sid" : "GetSchemaVersion", "Effect" : "Allow", "Action" : [ "glue:GetSchemaVersion" ], "Resource" : ["*"] }

使用 的私有連線 AWS PrivateLink

您可以使用 AWS Glue 透過定義 的介面 VPC 端點 AWS PrivateLink ,將資料生產者的 VPC 連線至 AWS Glue。使用 VPC 介面端點時,VPC 和 AWS Glue 之間的通訊完全在 AWS 網路中執行。如需詳細資訊,請參閱使用 AWS Glue 搭配 VPC 端點