Ejemplos de Kinesis que utilizan AWS CLI

Para agregar etiquetas a un flujo de datos

El siguiente ejemplo de add-tags-to-stream asigna una etiqueta con la clave samplekey y el valor example al flujo especificado.

aws kinesis add-tags-to-stream \
    --stream-name samplestream \
    --tags samplekey=example

Este comando no genera ninguna salida.

Para obtener más información, consulte Etiquetar sus flujos en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Creación de un flujo de datos

En el siguiente ejemplo de create-stream se crea un flujo de datos denominado samplestream con 3 particiones.

aws kinesis create-stream \
    --stream-name samplestream \
    --shard-count 3

Este comando no genera ninguna salida.

Para obtener más información, consulte Creación de una secuencia en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para reducir el período de retención del flujo de datos

En el siguiente ejemplo de decrease-stream-retention-period se reduce el período de retención (el período de tiempo en el que se puede acceder a los registros de datos después de agregarlos al flujo) de un flujo llamado samplestream a 48 horas.

aws kinesis decrease-stream-retention-period \
    --stream-name samplestream \
    --retention-period-hours 48

Este comando no genera ninguna salida.

Para obtener más información, consulte Changing the Data Retention Period en la Guía para desarrolladores de Amazon Kinesis.

Eliminación de un flujo de datos

En el siguiente ejemplo de delete-stream se elimina el flujo de datos especificado.

aws kinesis delete-stream \
    --stream-name samplestream

Este comando no genera ninguna salida.

Para obtener más información, consulte Eliminación de una secuencia en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para anular el registro de un consumidor de flujos de datos

En el ejemplo de deregister-stream-consumer siguiente se anula el registro del consumidor especificado del flujo de datos también especificado.

aws kinesis deregister-stream-consumer \
    --stream-arn arn:aws:kinesis:us-west-2:123456789012:stream/samplestream \
    --consumer-name KinesisConsumerApplication

Este comando no genera ninguna salida.

Para obtener más información, consulte Desarrollo de consumidores mediante la API de Kinesis Data Streams en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para describir los límites de partición

En el siguiente describe-limits ejemplo, se muestran los límites y el uso de los fragmentos de la AWS cuenta corriente.

aws kinesis describe-limits

Salida:

{
    "ShardLimit": 500,
    "OpenShardCount": 29
}

Para obtener más información, consulte Resharding a Stream en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para describir un consumidor de flujo de datos

En el siguiente ejemplo de describe-stream-consumer se devuelve la descripción del consumidor especificado, registrado en el flujo de datos especificado.

aws kinesis describe-stream-consumer \
    --stream-arn arn:aws:kinesis:us-west-2:012345678912:stream/samplestream \
    --consumer-name KinesisConsumerApplication

Salida:

{
    "ConsumerDescription": {
        "ConsumerName": "KinesisConsumerApplication",
        "ConsumerARN": "arn:aws:kinesis:us-west-2:123456789012:stream/samplestream/consumer/KinesisConsumerApplication:1572383852",
        "ConsumerStatus": "ACTIVE",
        "ConsumerCreationTimestamp": 1572383852.0,
        "StreamARN": "arn:aws:kinesis:us-west-2:123456789012:stream/samplestream"
    }
}

Para obtener más información, consulte Reading Data from Amazon Kinesis Data Streams en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para describir un resumen de flujo de datos

El siguiente ejemplo de describe-stream-summary proporciona una descripción resumida (sin la lista de particiones) del flujo de datos especificado.

aws kinesis describe-stream-summary \
    --stream-name samplestream

Salida:

{
    "StreamDescriptionSummary": {
        "StreamName": "samplestream",
        "StreamARN": "arn:aws:kinesis:us-west-2:123456789012:stream/samplestream",
        "StreamStatus": "ACTIVE",
        "RetentionPeriodHours": 48,
        "StreamCreationTimestamp": 1572297168.0,
        "EnhancedMonitoring": [
            {
                "ShardLevelMetrics": []
            }
        ],
        "EncryptionType": "NONE",
        "OpenShardCount": 3,
        "ConsumerCount": 0
    }
}

Para obtener más información, consulte Creación y administración de secuencias en la Guía para desarrolladores Amazon Kinesis Data Streams.

Descripción de un flujo de datos

En el siguiente ejemplo de describe-stream se devuelven los detalles del flujo de datos especificado.

aws kinesis describe-stream \
    --stream-name samplestream

Salida:

{
    "StreamDescription": {
        "Shards": [
            {
                "ShardId": "shardId-000000000000",
                "HashKeyRange": {
                    "StartingHashKey": "0",
                    "EndingHashKey": "113427455640312821154458202477256070484"
                },
                "SequenceNumberRange": {
                    "StartingSequenceNumber": "49600871682957036442365024926191073437251060580128653314"
                }
            },
            {
                "ShardId": "shardId-000000000001",
                "HashKeyRange": {
                    "StartingHashKey": "113427455640312821154458202477256070485",
                    "EndingHashKey": "226854911280625642308916404954512140969"
                },
                "SequenceNumberRange": {
                    "StartingSequenceNumber": "49600871682979337187563555549332609155523708941634633746"
                }
            },
            {
                "ShardId": "shardId-000000000002",
                "HashKeyRange": {
                    "StartingHashKey": "226854911280625642308916404954512140970",
                    "EndingHashKey": "340282366920938463463374607431768211455"
                },
                "SequenceNumberRange": {
                    "StartingSequenceNumber": "49600871683001637932762086172474144873796357303140614178"
                }
            }
        ],
        "StreamARN": "arn:aws:kinesis:us-west-2:123456789012:stream/samplestream",
        "StreamName": "samplestream",
        "StreamStatus": "ACTIVE",
        "RetentionPeriodHours": 24,
        "EnhancedMonitoring": [
            {
                "ShardLevelMetrics": []
            }
        ],
        "EncryptionType": "NONE",
        "KeyId": null,
        "StreamCreationTimestamp": 1572297168.0
    }
}

Para obtener más información, consulte Creación y administración de secuencias en la Guía para desarrolladores Amazon Kinesis Data Streams.

Para deshabilitar la supervisión mejorada de métricas de nivel de partición

En el siguiente ejemplo de disable-enhanced-monitoring se deshabilita la supervisión mejorada de flujos de datos de Kinesis para métricas de nivel de partición.

aws kinesis disable-enhanced-monitoring \
    --stream-name samplestream --shard-level-metrics ALL

Salida:

{
    "StreamName": "samplestream",
    "CurrentShardLevelMetrics": [
        "IncomingBytes",
        "OutgoingRecords",
        "IteratorAgeMilliseconds",
        "IncomingRecords",
        "ReadProvisionedThroughputExceeded",
        "WriteProvisionedThroughputExceeded",
        "OutgoingBytes"
    ],
    "DesiredShardLevelMetrics": []
}

Para obtener más información, consulte Monitoring Streams in Amazon Kinesis Data Streams en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para habilitar la supervisión mejorada de métricas de nivel de partición

En el siguiente ejemplo de enable-enhanced-monitoring se habilita la supervisión mejorada de flujos de datos de Kinesis para métricas de nivel de partición.

aws kinesis enable-enhanced-monitoring \
    --stream-name samplestream \
    --shard-level-metrics ALL

Salida:

{
    "StreamName": "samplestream",
    "CurrentShardLevelMetrics": [],
    "DesiredShardLevelMetrics": [
        "IncomingBytes",
        "OutgoingRecords",
        "IteratorAgeMilliseconds",
        "IncomingRecords",
        "ReadProvisionedThroughputExceeded",
        "WriteProvisionedThroughputExceeded",
        "OutgoingBytes"
    ]
}

Para obtener más información, consulte Monitoring Streams in Amazon Kinesis Data Streams en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Obtención de registros de una partición

En el siguiente ejemplo de get-records se obtienen registros de datos de la partición de un flujo de datos de Kinesis mediante el iterador de partición especificado.

aws kinesis get-records \
    --shard-iterator AAAAAAAAAAF7/0mWD7IuHj1yGv/TKuNgx2ukD5xipCY4cy4gU96orWwZwcSXh3K9tAmGYeOZyLZrvzzeOFVf9iN99hUPw/w/b0YWYeehfNvnf1DYt5XpDJghLKr3DzgznkTmMymDP3R+3wRKeuEw6/kdxY2yKJH0veaiekaVc4N2VwK/GvaGP2Hh9Fg7N++q0Adg6fIDQPt4p8RpavDbk+A4sL9SWGE1

Salida:

{
    "Records": [],
    "MillisBehindLatest": 80742000
}

Para obtener más información, consulte Desarrollo de consumidores mediante la API de Kinesis Data Streams con AWS el SDK para Java en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para obtener un iterador de particiones

El siguiente ejemplo de get-shard-iterator utiliza el tipo de iterador de particiones AT_SEQUENCE_NUMBER y genera un iterador de particiones para empezar a leer los registros de datos exactamente desde la posición indicada por el número de secuencia especificado.

aws kinesis get-shard-iterator \
    --stream-name samplestream \
    --shard-id shardId-000000000001 \
    --shard-iterator-type LATEST

Salida:

{
    "ShardIterator": "AAAAAAAAAAFEvJjIYI+3jw/4aqgH9FifJ+n48XWTh/IFIsbILP6o5eDueD39NXNBfpZ10WL5K6ADXk8w+5H+Qhd9cFA9k268CPXCz/kebq1TGYI7Vy+lUkA9BuN3xvATxMBGxRY3zYK05gqgvaIRn94O8SqeEqwhigwZxNWxID3Ej7YYYcxQi8Q/fIrCjGAy/n2r5Z9G864YpWDfN9upNNQAR/iiOWKs"
}

Para obtener más información, consulte Desarrollo de consumidores mediante la API de Kinesis Data Streams con AWS el SDK para Java en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para aumentar el período de retención del flujo de datos

En el siguiente ejemplo de increase-stream-retention-period se aumenta el período de retención (el período de tiempo en el que se puede acceder a los registros de datos después de agregarlos al flujo) del flujo especificado a 168 horas.

aws kinesis increase-stream-retention-period \
    --stream-name samplestream \
    --retention-period-hours 168

Este comando no genera ninguna salida.

Para obtener más información, consulte Changing the Data Retention Period en la Guía para desarrolladores de Amazon Kinesis.

Para enumerar las particiones de un flujo de datos

En el siguiente ejemplo de list-shards se enumeran todas las particiones del flujo especificado, empezando por el fragmento cuyo identificador sigue inmediatamente al exclusive-start-shard-id especificado de shardId-000000000000.

aws kinesis list-shards \
    --stream-name samplestream \
    --exclusive-start-shard-id shardId-000000000000

Salida:

{
    "Shards": [
        {
            "ShardId": "shardId-000000000001",
            "HashKeyRange": {
                "StartingHashKey": "113427455640312821154458202477256070485",
                "EndingHashKey": "226854911280625642308916404954512140969"
            },
            "SequenceNumberRange": {
                "StartingSequenceNumber": "49600871682979337187563555549332609155523708941634633746"
            }
        },
        {
            "ShardId": "shardId-000000000002",
            "HashKeyRange": {
                "StartingHashKey": "226854911280625642308916404954512140970",
                "EndingHashKey": "340282366920938463463374607431768211455"
            },
            "SequenceNumberRange": {
                "StartingSequenceNumber": "49600871683001637932762086172474144873796357303140614178"
            }
        }
    ]
}

Para obtener más información, consulte Listing Shards en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Creación de una lista de flujos de datos

En el siguiente ejemplo de list-streams se enumeran todos los flujos de datos activos de la cuenta y la región actuales.

aws kinesis list-streams

Salida:

{
    "StreamNames": [
        "samplestream",
        "samplestream1"
    ]
}

Para obtener más información, consulte Visualización de secuencias en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para enumerar las etiquetas de flujo de datos

En el siguiente ejemplo de list-tags-for-stream se enumeran las etiquetas adjuntas al flujo de datos especificado.

aws kinesis list-tags-for-stream \
    --stream-name samplestream

Salida:

{
    "Tags": [
        {
            "Key": "samplekey",
            "Value": "example"
        }
    ],
    "HasMoreTags": false
}

Para obtener más información, consulte Etiquetar sus flujos en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para fusionar particiones

En el siguiente merge-shards ejemplo, se combinan dos fragmentos adyacentes, los IDs de shardID-000000000000 y shardID-000000000001, en el flujo de datos especificado y los combina en un solo fragmento.

aws kinesis merge-shards \
    --stream-name samplestream \
    --shard-to-merge shardId-000000000000 \
    --adjacent-shard-to-merge shardId-000000000001

Este comando no genera ninguna salida.

Para obtener más información, consulte Merging Two Shards en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Escritura de un registro en un flujo de datos

En el siguiente ejemplo de put-record se escribe un único registro de datos en el flujo de datos especificado mediante la clave de partición especificada.

aws kinesis put-record \
    --stream-name samplestream \
    --data sampledatarecord \
    --partition-key samplepartitionkey

Salida:

{
    "ShardId": "shardId-000000000009",
    "SequenceNumber": "49600902273357540915989931256901506243878407835297513618",
    "EncryptionType": "KMS"
}

Para obtener más información, consulte Desarrollo de productores que utilizan la API de Amazon Kinesis Data Streams con AWS el SDK para Java en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para escribir varios registros en un flujo de datos

En el siguiente ejemplo de put-records, se escribe un registro de datos con la clave de partición especificada y otro registro de datos con una clave de partición diferente en una sola llamada.

aws kinesis put-records \
    --stream-name samplestream \
    --records Data=blob1,PartitionKey=partitionkey1 Data=blob2,PartitionKey=partitionkey2

Salida:

{
    "FailedRecordCount": 0,
    "Records": [
        {
            "SequenceNumber": "49600883331171471519674795588238531498465399900093808706",
            "ShardId": "shardId-000000000004"
        },
        {
            "SequenceNumber": "49600902273357540915989931256902715169698037101720764562",
            "ShardId": "shardId-000000000009"
        }
    ],
    "EncryptionType": "KMS"
}

Para obtener más información, consulte Desarrollo de productores que utilizan la API de Amazon Kinesis Data Streams con AWS el SDK para Java en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para registrar un consumidor de flujo de datos

En el siguiente ejemplo de register-stream-consumer se registra un consumidor llamado KinesisConsumerApplication con el flujo de datos especificado.

aws kinesis register-stream-consumer \
    --stream-arn arn:aws:kinesis:us-west-2:012345678912:stream/samplestream \
    --consumer-name KinesisConsumerApplication

Salida:

{
    "Consumer": {
        "ConsumerName": "KinesisConsumerApplication",
        "ConsumerARN": "arn:aws:kinesis:us-west-2: 123456789012:stream/samplestream/consumer/KinesisConsumerApplication:1572383852",
        "ConsumerStatus": "CREATING",
        "ConsumerCreationTimestamp": 1572383852.0
    }
}

Para obtener más información, consulte Desarrollo de consumidores mediante la API de Kinesis Data Streams en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para eliminar etiquetas de un flujo de datos

En el siguiente ejemplo de remove-tags-from-stream se elimina la etiqueta con la clave especificada del flujo de datos indicado.

aws kinesis remove-tags-from-stream \
    --stream-name samplestream \
    --tag-keys samplekey

Este comando no genera ninguna salida.

Para obtener más información, consulte Etiquetar sus flujos en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para dividir particiones

En el siguiente ejemplo de split-shard se divide la partición especificada en dos nuevas particiones mediante una nueva clave hash inicial de 10.

aws kinesis split-shard \
    --stream-name samplestream \
    --shard-to-split shardId-000000000000 \
    --new-starting-hash-key 10

Este comando no genera ninguna salida.

Para obtener más información, consulte Splitting a Shard en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para habilitar el cifrado de flujos de datos

El siguiente start-stream-encryption ejemplo habilita el cifrado del lado del servidor para la transmisión especificada mediante la clave AWS KMS especificada.

aws kinesis start-stream-encryption \
    --encryption-type KMS \
    --key-id arn:aws:kms:us-west-2:012345678912:key/a3c4a7cd-728b-45dd-b334-4d3eb496e452 \
    --stream-name samplestream

Este comando no genera ninguna salida.

Para obtener más información, consulte Data Protection in Amazon Kinesis Data Streams en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para deshabilitar el cifrado de flujos de datos

El siguiente stop-stream-encryption ejemplo deshabilita el cifrado del lado del servidor para la transmisión especificada mediante la clave KMS especificada AWS .

aws kinesis start-stream-encryption \
    --encryption-type KMS \
    --key-id arn:aws:kms:us-west-2:012345678912:key/a3c4a7cd-728b-45dd-b334-4d3eb496e452 \
    --stream-name samplestream

Este comando no genera ninguna salida.

Para obtener más información, consulte Data Protection in Amazon Kinesis Data Streams en la Guía para desarrolladores de Amazon Kinesis Data Streams.

Para actualizar el recuento de particiones en un flujo de datos

En el siguiente ejemplo de update-shard-count se actualiza el recuento de particiones del flujo de datos especificado a 6. En este ejemplo se utiliza escalado uniforme, que crea particiones del mismo tamaño.

aws kinesis update-shard-count \
    --stream-name samplestream \
    --scaling-type UNIFORM_SCALING \
    --target-shard-count 6

Salida:

{
    "StreamName": "samplestream",
    "CurrentShardCount": 3,
    "TargetShardCount": 6
}

Para obtener más información, consulte Resharding a Stream en la Guía para desarrolladores de Amazon Kinesis Data Streams.