本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。 # 運動流-糖果工作 ![](http://docs.aws.amazon.com/zh_tw/solutions/latest/constructs/images/experimental.png) 所有類都在積極開發中，並且在任何未來版本中都會受到非向後兼容的更改或刪除。這些不受[語義版本](https://semver.org/)模式。這意味著，雖然您可以使用它們，但在升級到此軟件包的較新版本時，您可能需要更新源代碼。 **請注意：** 為了確保功能正確，專案中的 AWS 解決方案建構套件和 AWS CDK 套件必須是相同的版本。 | **語言** | **套件** | | --- | --- | | ![](http://docs.aws.amazon.com/zh_tw/solutions/latest/constructs/images/python.png) Python | aws\_solutions\_constructs.aws\_kinesis\_streams\_gluejob | | ![](http://docs.aws.amazon.com/zh_tw/solutions/latest/constructs/images/typescript.png) TypeScript | @aws-solutions-constructs/aws-kinesisstreams-gluejob | | ![](http://docs.aws.amazon.com/zh_tw/solutions/latest/constructs/images/java.png) Java | software.amazon.awsconstructs.services.kinesisstreamsgluejob | ## Overview 此 AWS 解決方案建構部署 Amazon Kinesis 資料流，並設定 AWS Glue Job 務以執行自訂 ETL 轉換，其中包含互動和安全的適當資源/屬性。它還創建一個 Amazon S3 存儲桶，其中可以上傳 AWS Glue Job 務的 Python 腳本。 下面是 TypeScript 中的最小可部署模式定義： ``` import * as glue from '@aws-cdk/aws-glue'; import * as s3assets from '@aws-cdk/aws-s3-assets'; import { KinesisstreamsToGluejob } from '@aws-solutions-constructs/aws-kinesisstreams-gluejob'; const fieldSchema: glue.CfnTable.ColumnProperty[] = [ { name: 'id', type: 'int', comment: 'Identifier for the record', }, { name: 'name', type: 'string', comment: 'Name for the record', }, { name: 'address', type: 'string', comment: 'Address for the record', }, { name: 'value', type: 'int', comment: 'Value for the record', }, ]; const customEtlJob = new KinesisstreamsToGluejob(this, 'CustomETL', { glueJobProps: { command: { name: 'gluestreaming', pythonVersion: '3', scriptLocation: new s3assets.Asset(this, 'ScriptLocation', { path: `${__dirname}/../etl/transform.py`, }).s3ObjectUrl, }, }, fieldSchema: fieldSchema, }); ``` ## Initializer ``` new KinesisstreamsToGluejob(scope: Construct, id: string, props: KinesisstreamsToGluejobProps); ``` *參數* + scope[https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_core.Construct.html](https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_core.Construct.html) + id`string` + 提案[`KinesisstreamsToGluejobProps`](#pattern-construct-props-40) ## 模式建立道具 | **名稱** | **類型** | **描述** | | --- | --- | --- | | 運動流道具？ | [https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-kinesis.StreamProps.html](https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-kinesis.StreamProps.html) | 可選的使用者提供的道具，用於覆寫 Amazon Kinesis 資料流的預設道具。 | | 現在的斯特拉莫比 | [https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-kinesis.Stream.html](https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-kinesis.Stream.html) | Kinesis 流的現有實例，提供這個和kinesisStreamProps會造成錯誤。 | | 葛樂珠的道具？ | [https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-glue.CfnJobProps.html](https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-glue.CfnJobProps.html) | 使用者提供的道具，用於覆寫 AWS Glue 工作的預設道具。 | | 現在存在膠工作？ | [https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-glue.CfnJob.html](https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-glue.CfnJob.html) | AWS Glue 任務的現有執行個體，提供這個和glueJobProps會造成錯誤。 | | 是否存在資料庫？ | [https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-glue.CfnDatabase.html](https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-glue.CfnDatabase.html) | 要與此建構搭配使用的現有 AWS Glue 資料庫。如果設置了這個，那麼databaseProps忽略。 | | 數據庫道具？ | [https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-glue.CfnDatabaseProps.html](https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-glue.CfnDatabaseProps.html) | 使用者提供的道具，用於覆寫用於建立 AWS Glue 資料庫的預設道具。 | | 現有表格？ | [https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-glue.CfnTable.html](https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-glue.CfnTable.html) | AWS Glue 表的現有執行個體。如果設置了這個，那麼tableProps和fieldSchema會遭到忽略。 | | 桌面道具？ | [https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-glue.CfnTableProps.html](https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-glue.CfnTableProps.html) | 用戶提供的道具，用於覆蓋用於創建 AWS Glue 表的默認道具。 | | 欄位架構？ | [https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-glue.CfnTable.ColumnProperty.html](https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-glue.CfnTable.ColumnProperty.html) | 使用者提供的結構描述結構來建立 AWS Glue 表。 | | 輸出資料存放區？ | [https://github.com/awslabs/aws-solutions-constructs/blob/3fd15e984943fe295690d8b0654d77157ffda8e3/source/patterns/%40aws-solutions-constructs/aws-kinesisstreams-gluejob/README.md#sinkdatastoreprops](https://github.com/awslabs/aws-solutions-constructs/blob/3fd15e984943fe295690d8b0654d77157ffda8e3/source/patterns/%40aws-solutions-constructs/aws-kinesisstreams-gluejob/README.md#sinkdatastoreprops) | 使用者為 Amazon S3 儲存貯體提供的道具，可儲存 AWS Glue 作業輸出。目前僅支援 Amazon S3 做為輸出資料存放區類型。 | ## SinkDataStoreProps | **名稱** | **類型** | **描述** | | --- | --- | --- | | 存在 3 輸出桶？ | [https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-s3.Bucket.html](https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-s3.Bucket.html) | S3 儲存貯體的現有執行個體，資料應該寫入。同時提供這個和outputBucketProps會造成錯誤。 | | 輸出路徑道具 | [https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-s3.BucketProps.html](https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-s3.BucketProps.html) | 使用者提供的儲存貯體屬性，用於建立用於儲存 AWS Glue 作業輸出的 Amazon S3 儲存貯體。 | | 資料存放區類型 | [https://github.com/awslabs/aws-solutions-constructs/blob/3fd15e984943fe295690d8b0654d77157ffda8e3/source/patterns/%40aws-solutions-constructs/aws-kinesisstreams-gluejob/README.md#sinkstoretype](https://github.com/awslabs/aws-solutions-constructs/blob/3fd15e984943fe295690d8b0654d77157ffda8e3/source/patterns/%40aws-solutions-constructs/aws-kinesisstreams-gluejob/README.md#sinkstoretype) | 接收資料倉庫類型。 | ## SinkStoreType 列舉可能包括 S3、DynamoDB、DocumentDB、RDS 或 Redshift 的資料存放區類型。當前構造實現只支持 S3，但未來可能添加其他輸出類型。 | **名稱** | **類型** | **描述** | | --- | --- | --- | | S3 | string | S3 儲存類型 | ## 預設設定 此模式的開箱即用實現沒有任何覆蓋將設置以下默認值： ### Amazon Kinesis Streams + 為 Amazon Kinesis 資料流設定最低權限存取 IAM 角色。 + 使用 AWS 受管 KMS 金鑰為 Amazon Kinesis 串流啟用伺服器端加密。 + 為 Amazon CloudWatch Amazon Kinesis 串流部署最佳實務。 ### Glue Job + 建立 AWS Glue 安全組態，以設定 CloudWatch、Job 書籤和 S3 的加密。CloudWatch 和 Job 書籤使用為 AWS 膠水服務建立的 AWS 受管 KMS 金鑰進行加密。S3 儲存貯體是以 SSE-S3 加密模式配置的。 + 設定允許 AWS Glue 從 Amazon Kinesis Data Streams 讀取的服務角色政策。 ### Glue 資料庫 + 建立 AWS Glue 資料庫。AWS Glue 表將新增至資料庫。此表格定義 Amazon Kinesis 資料串流中緩衝記錄的結構描述。 ### Glue 表 + 建立 AWS Glue 表格。表格結構描述定義是以 Amazon Kinesis 資料串流中緩衝記錄的 JSON 結構為基礎。 ### IAM 角色 + 具有權限的工作執行角色 1) 從 Amazon S3 儲存貯體位置讀取 ETL 指令碼、2) 從 Amazon Kinesis 資料流讀取記錄，以及 3) 執行 Amazon Glue 工作。 ### S3 儲存貯體 + 存放 ETL 轉換輸出的 Amazon S3 儲存貯體。此存儲桶將作為參數傳遞給創建的 AWS Glue 作業，以便在 ETL 腳本中使用它來將數據寫入其中。 ## Architecture ![](http://docs.aws.amazon.com/zh_tw/solutions/latest/constructs/images/aws-kinesisstreams-gluejob.png) ## GitHub
要查看此模式的代碼，創建/查看問題和提取請求，以及更多：
![](http://docs.aws.amazon.com/zh_tw/solutions/latest/constructs/images/GitHub-Mark-32px.png) [@aws-解決方案-結構/aw-運動流-糖果](https://github.com/awslabs/aws-solutions-constructs/tree/master/source/patterns/%40aws-solutions-constructs/aws-kinesisstreams-gluejob)