Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

aws-kinesisstreams-colla

Tutte le classi sono in fase di sviluppo attivo e soggette a modifiche o rimozione non compatibili con le versioni precedenti in qualsiasi versione futura. Questi non sono soggetti allaIl controllo semantico delle versioniModello. Ciò significa che, mentre è possibile utilizzarli, potrebbe essere necessario aggiornare il codice sorgente quando si esegue l'aggiornamento a una versione più recente di questo pacchetto.

Nota: Per garantire la corretta funzionalità, i pacchetti AWS Solutions Constructs e i pacchetti AWS CDK nel progetto devono essere della stessa versione.

Overview

Questo Construct di soluzioni AWS distribuisce un flusso di dati Amazon Kinesis e configura un AWS Glue Job per eseguire la trasformazione ETL personalizzata con le risorse/proprietà appropriate per l'interazione e la sicurezza. Crea anche un bucket Amazon S3 in cui è possibile caricare lo script Python per AWS Glue Job.

Ecco una definizione di modello distribuibile minima in TypeScript:

import * as glue from '@aws-cdk/aws-glue';
import * as s3assets from '@aws-cdk/aws-s3-assets';
import { KinesisstreamsToGluejob } from '@aws-solutions-constructs/aws-kinesisstreams-gluejob';

const fieldSchema: glue.CfnTable.ColumnProperty[] = [
    {
        name: 'id',
        type: 'int',
        comment: 'Identifier for the record',
    },
    {
        name: 'name',
        type: 'string',
        comment: 'Name for the record',
    },
    {
        name: 'address',
        type: 'string',
        comment: 'Address for the record',
    },
    {
        name: 'value',
        type: 'int',
        comment: 'Value for the record',
    },
];

const customEtlJob = new KinesisstreamsToGluejob(this, 'CustomETL', {
    glueJobProps: {
        command: {
            name: 'gluestreaming',
            pythonVersion: '3',
            scriptLocation: new s3assets.Asset(this, 'ScriptLocation', {
                path: `${__dirname}/../etl/transform.py`,
            }).s3ObjectUrl,
        },
    },
    fieldSchema: fieldSchema,
});

Initializer

new KinesisstreamsToGluejob(scope: Construct, id: string, props: KinesisstreamsToGluejobProps);

Parametri

Puntelli di costruzione del modello

SinkDataStoreProps

SinkStoreType

Enumerazione dei tipi di Data Store che possono includere S3, DynamoDB, DocumentDB, RDS o Redshift. L'implementazione corrente del costrutto supporta solo S3, ma potrebbe aggiungere altri tipi di output in futuro.

Impostazioni predefinite

L'implementazione predefinita di questo modello senza sostituzioni imposterà i seguenti valori predefiniti:

Amazon Kinesis Streams

Glue Job

Glue Database

Glue Tabella

Ruolo IAM

Perlue di output

Architecture

GitHub