Amazon MSK contoh menggunakan AWS CLI - AWS Contoh Kode SDK
Tindakan

Ada lebih banyak contoh AWS SDK yang tersedia di repo Contoh SDK AWS Doc. GitHub

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Amazon MSK contoh menggunakan AWS CLI

Contoh kode berikut menunjukkan cara melakukan tindakan dan menerapkan skenario umum dengan menggunakan MSK AWS Command Line Interface with Amazon.

Tindakan merupakan kutipan kode dari program yang lebih besar dan harus dijalankan dalam konteks. Sementara tindakan menunjukkan cara memanggil fungsi layanan individual, Anda dapat melihat tindakan dalam konteks dalam skenario terkait.

Setiap contoh menyertakan tautan ke kode sumber lengkap, di mana Anda dapat menemukan instruksi tentang cara mengatur dan menjalankan kode dalam konteks.

Tindakan

Contoh kode berikut menunjukkan cara menggunakancreate-cluster.

AWS CLI

Untuk membuat cluster MSK Amazon

create-clusterContoh berikut membuat cluster MSK bernama MessagingCluster dengan tiga node broker. File JSON bernama brokernodegroupinfo.json menentukan tiga subnet di mana Anda ingin Amazon MSK untuk mendistribusikan node broker. Contoh ini tidak menentukan level pemantauan, sehingga cluster mendapatkan DEFAULT levelnya.

aws kafka create-cluster \
    --cluster-name "MessagingCluster" \
    --broker-node-group-info file://brokernodegroupinfo.json \
    --kafka-version "2.2.1" \
    --number-of-broker-nodes 3

Isi dari brokernodegroupinfo.json:

{
    "InstanceType": "kafka.m5.xlarge",
    "BrokerAZDistribution": "DEFAULT",
    "ClientSubnets": [
        "subnet-0123456789111abcd",
        "subnet-0123456789222abcd",
        "subnet-0123456789333abcd"
    ]
}

Output:

{
    "ClusterArn": "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "ClusterName": "MessagingCluster",
    "State": "CREATING"
}

Untuk informasi selengkapnya, lihat Membuat Cluster MSK Amazon di Amazon Managed Streaming for Apache Kafka.

  • Untuk detail API, lihat CreateClusterdi Referensi AWS CLI Perintah.

Contoh kode berikut menunjukkan cara menggunakancreate-configuration.

AWS CLI

Untuk membuat konfigurasi MSK Amazon khusus

create-configurationContoh berikut membuat konfigurasi MSK kustom dengan properti server yang ditentukan dalam file input.

aws kafka create-configuration \
    --name "CustomConfiguration" \
    --description "Topic autocreation enabled; Apache ZooKeeper timeout 2000 ms; Log rolling 604800000 ms." \
    --kafka-versions "2.2.1" \
    --server-properties file://configuration.txt

Isi dari configuration.txt:

auto.create.topics.enable = true
zookeeper.connection.timeout.ms = 2000
log.roll.ms = 604800000

Perintah ini tidak menghasilkan output. Output:

{
    "Arn": "arn:aws:kafka:us-west-2:123456789012:configuration/CustomConfiguration/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "CreationTime": "2019-10-09T15:26:05.548Z",
    "LatestRevision":
        {
            "CreationTime": "2019-10-09T15:26:05.548Z",
            "Description": "Topic autocreation enabled; Apache ZooKeeper timeout 2000 ms; Log rolling 604800000 ms.",
            "Revision": 1
        },
    "Name": "CustomConfiguration"
}

Untuk informasi selengkapnya, lihat Operasi Konfigurasi MSK Amazon di Panduan Pengembang Amazon Managed Streaming for Apache Kafka.

Contoh kode berikut menunjukkan cara menggunakandescribe-cluster.

AWS CLI

Untuk menggambarkan sebuah cluster

describe-clusterContoh berikut menjelaskan cluster MSK Amazon.

aws kafka describe-cluster \
    --cluster-arn arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5

Output:

{
    "ClusterInfo": {
        "BrokerNodeGroupInfo": {
            "BrokerAZDistribution": "DEFAULT",
            "ClientSubnets": [
                "subnet-cbfff283",
                "subnet-6746046b"
            ],
            "InstanceType": "kafka.m5.large",
            "SecurityGroups": [
                "sg-f839b688"
            ],
            "StorageInfo": {
                "EbsStorageInfo": {
                    "VolumeSize": 100
                }
            }
        },
        "ClusterArn": "arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5",
        "ClusterName": "demo-cluster-1",
        "CreationTime": "2020-07-09T02:31:36.223000+00:00",
        "CurrentBrokerSoftwareInfo": {
            "KafkaVersion": "2.2.1"
        },
        "CurrentVersion": "K3AEGXETSR30VB",
        "EncryptionInfo": {
            "EncryptionAtRest": {
                "DataVolumeKMSKeyId": "arn:aws:kms:us-east-1:123456789012:key/a7ca56d5-0768-4b64-a670-339a9fbef81c"
            },
            "EncryptionInTransit": {
                "ClientBroker": "TLS_PLAINTEXT",
                "InCluster": true
            }
        },
        "EnhancedMonitoring": "DEFAULT",
        "OpenMonitoring": {
            "Prometheus": {
                "JmxExporter": {
                    "EnabledInBroker": false
                },
                "NodeExporter": {
                    "EnabledInBroker": false
                }
            }
        },
        "NumberOfBrokerNodes": 2,
        "State": "ACTIVE",
        "Tags": {},
        "ZookeeperConnectString": "z-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-3.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181"
    }
}

Untuk informasi selengkapnya, lihat Mendaftarkan Cluster MSK Amazon di Panduan Pengembang Amazon Managed Streaming for Apache Kafka.

Contoh kode berikut menunjukkan cara menggunakanget-bootstrap-brokers.

AWS CLI

Untuk mendapatkan broker bootstrap

get-bootstrap-brokersContoh berikut mengambil informasi broker bootstrap untuk cluster MSK Amazon.

aws kafka get-bootstrap-brokers \
    --cluster-arn arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5

Output:

{
    "BootstrapBrokerString": "b-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9092,b-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9092",
    "BootstrapBrokerStringTls": "b-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9094,b-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9094"
}

Untuk informasi selengkapnya, lihat Mendapatkan Broker Bootstrap di Amazon Managed Streaming for Apache Kafka Developer Guide.

Contoh kode berikut menunjukkan cara menggunakanlist-clusters.

AWS CLI

Untuk daftar cluster yang tersedia

list-clustersContoh berikut mencantumkan kluster MSK Amazon di akun Anda AWS .

aws kafka list-clusters

Output:

{
    "ClusterInfoList": [
        {
            "BrokerNodeGroupInfo": {
                "BrokerAZDistribution": "DEFAULT",
                "ClientSubnets": [
                    "subnet-cbfff283",
                    "subnet-6746046b"
                ],
                "InstanceType": "kafka.m5.large",
                "SecurityGroups": [
                    "sg-f839b688"
                ],
                "StorageInfo": {
                    "EbsStorageInfo": {
                        "VolumeSize": 100
                    }
                }
            },
            "ClusterArn": "arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5",
            "ClusterName": "demo-cluster-1",
            "CreationTime": "2020-07-09T02:31:36.223000+00:00",
            "CurrentBrokerSoftwareInfo": {
                "KafkaVersion": "2.2.1"
            },
            "CurrentVersion": "K3AEGXETSR30VB",
            "EncryptionInfo": {
                "EncryptionAtRest": {
                    "DataVolumeKMSKeyId": "arn:aws:kms:us-east-1:123456789012:key/a7ca56d5-0768-4b64-a670-339a9fbef81c"
                },
                "EncryptionInTransit": {
                    "ClientBroker": "TLS_PLAINTEXT",
                    "InCluster": true
                }
            },
            "EnhancedMonitoring": "DEFAULT",
            "OpenMonitoring": {
                "Prometheus": {
                    "JmxExporter": {
                        "EnabledInBroker": false
                    },
                    "NodeExporter": {
                        "EnabledInBroker": false
                    }
                }
            },
            "NumberOfBrokerNodes": 2,
            "State": "ACTIVE",
            "Tags": {},
            "ZookeeperConnectString": "z-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-3.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181"
        }
    ]
}

Untuk informasi selengkapnya, lihat Mendaftarkan Cluster MSK Amazon di Panduan Pengembang Amazon Managed Streaming for Apache Kafka.

  • Untuk detail API, lihat ListClustersdi Referensi AWS CLI Perintah.

Contoh kode berikut menunjukkan cara menggunakanupdate-broker-storage.

AWS CLI

Untuk memperbarui penyimpanan EBS untuk broker

update-broker-storageContoh berikut memperbarui jumlah penyimpanan EBS untuk semua broker di cluster. Amazon MSK menetapkan jumlah penyimpanan target untuk setiap broker ke jumlah yang ditentukan dalam contoh. Anda bisa mendapatkan versi cluster saat ini dengan menjelaskan cluster atau dengan mencantumkan semua cluster.

aws kafka update-broker-storage \
    --cluster-arn "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2" \
    --current-version "K21V3IB1VIZYYH" \
    --target-broker-ebs-volume-info "KafkaBrokerNodeId=ALL,VolumeSizeGB=1100"

Output mengembalikan ARN untuk operasi iniupdate-broker-storage. Untuk menentukan apakah operasi ini selesai, gunakan describe-cluster-operation perintah dengan ARN ini sebagai input.

{
    "ClusterArn": "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "ClusterOperationArn": "arn:aws:kafka:us-west-2:123456789012:cluster-operation/V123450123/a1b2c3d4-1234-abcd-cdef-22222EXAMPLE-2/a1b2c3d4-abcd-1234-bcde-33333EXAMPLE"
}

Untuk informasi selengkapnya, lihat Memperbarui Penyimpanan EBS untuk Broker di Panduan Pengembang Amazon Managed Streaming for Apache Kafka.

Contoh kode berikut menunjukkan cara menggunakanupdate-cluster-configuration.

AWS CLI

Untuk memperbarui konfigurasi kluster MSK Amazon

update-cluster-configurationContoh berikut memperbarui konfigurasi cluster MSK yang ada yang ditentukan. Ini menggunakan konfigurasi MSK khusus.

aws kafka update-cluster-configuration \
    --cluster-arn "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2" \
    --configuration-info file://configuration-info.json \
    --current-version "K21V3IB1VIZYYH"

Isi dari configuration-info.json:

{
    "Arn": "arn:aws:kafka:us-west-2:123456789012:configuration/CustomConfiguration/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "Revision": 1
}

Output mengembalikan ARN untuk operasi iniupdate-cluster-configuration. Untuk menentukan apakah operasi ini selesai, gunakan describe-cluster-operation perintah dengan ARN ini sebagai input.

{
    "ClusterArn": "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "ClusterOperationArn": "arn:aws:kafka:us-west-2:123456789012:cluster-operation/V123450123/a1b2c3d4-1234-abcd-cdef-22222EXAMPLE-2/a1b2c3d4-abcd-1234-bcde-33333EXAMPLE"
}

Untuk informasi selengkapnya, lihat Memperbarui Konfigurasi Cluster MSK Amazon di Panduan Pengembang Amazon Managed Streaming for Apache Kafka.