Langkah 4: Buat topik di cluster MSK Amazon - Amazon Managed Streaming untuk Apache Kafka
Temukan versi cluster AndaBuat topik

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Langkah 4: Buat topik di cluster MSK Amazon

Pada langkah Memulai Menggunakan Amazon MSK ini, Anda menginstal pustaka dan alat klien Apache Kafka di mesin klien, dan kemudian Anda membuat topik.

Awas

Nomor versi Apache Kafka yang digunakan dalam tutorial ini adalah contoh saja. Kami menyarankan Anda menggunakan versi klien yang sama dengan versi cluster MSK Anda. Versi klien yang lebih lama mungkin kehilangan fitur tertentu dan perbaikan bug penting.

Menentukan versi klaster MSK Anda

  1. Buka konsol MSK Amazon dihttps://console.aws.amazon.com/msk/.

  2. Di bilah navigasi, pilih Wilayah tempat Anda membuat cluster MSK.

  3. Pilih cluster MSK.

  4. Perhatikan versi Apache Kafka yang digunakan pada cluster.

  5. Ganti contoh nomor versi Amazon MSK dalam tutorial ini dengan versi yang diperoleh pada Langkah 3.

Membuat topik di mesin klien

  1. Connect ke mesin klien Anda.

    1. Buka EC2 konsol Amazon di https://console.aws.amazon.com/ec2/.

    2. Di panel navigasi, pilih Instans. Kemudian, pilih kotak centang di samping nama mesin klien yang Anda buatLangkah 3: Buat mesin klien.

    3. Pilih Actions, lalu pilih Connect. Ikuti petunjuk di konsol untuk terhubung ke mesin klien Anda.

  2. Instal Java dan atur variabel lingkungan versi Kafka.

    1. Instal Java pada mesin klien dengan menjalankan perintah berikut.

      sudo yum -y install java-11

    2. Simpan versi Kafka dari cluster MSK Anda dalam variabel lingkunganKAFKA_VERSION, seperti yang ditunjukkan pada perintah berikut. Anda akan memerlukan informasi ini di seluruh pengaturan.

      export KAFKA_VERSION={KAFKA VERSION}

      Misalnya, jika Anda menggunakan versi 3.6.0, gunakan perintah berikut.

      export KAFKA_VERSION=3.6.0

  3. Unduh dan ekstrak Apache Kafka.

    1. Jalankan perintah berikut untuk mengunduh Apache Kafka. 

      wget https://archive.apache.org/dist/kafka/$KAFKA_VERSION/kafka_2.13-$KAFKA_VERSION.tgz

      Misalnya, jika cluster MSK Anda menggunakan Apache Kafka versi 3.6.0, jalankan perintah berikut.

      wget https://archive.apache.org/dist/kafka/3.6.0/kafka_2.13-3.6.0.tgz
      catatan

      Daftar berikut menyajikan beberapa informasi unduhan Kafka alternatif yang dapat Anda gunakan, jika Anda mengalami masalah.

      • Jika Anda mengalami masalah konektivitas atau ingin menggunakan situs mirror, coba gunakan pemilih cermin Apache, seperti yang ditunjukkan pada perintah berikut.

        wget https://www.apache.org/dyn/closer.cgi?path=/kafka/$KAFKA_VERSION/kafka_2.13-$KAFKA_VERSION.tgz

      • Unduh versi yang sesuai langsung dari situs web Apache Kafka.

    2. Jalankan perintah berikut di direktori tempat Anda mengunduh file TAR pada langkah sebelumnya.

      tar -xzf kafka_2.13-$KAFKA_VERSION.tgz

    3. Simpan path lengkap ke direktori yang baru dibuat di dalam variabel KAFKA_ROOT lingkungan.

      export KAFKA_ROOT=$(pwd)/kafka_2.13-$KAFKA_VERSION

  4. Siapkan otentikasi untuk klaster MSK Anda.

    1. Unduh versi terbaru dari file Amazon MSK IAM JAR di dalam direktori. $KAFKA_ROOT/libs Gunakan perintah berikut untuk mengunduh file, dan ganti {LATEST VERSION} dengan nomor versi sebenarnya.

      cd $KAFKA_ROOT/libs wget https://github.com/aws/aws-msk-iam-auth/releases/latest/download/aws-msk-iam-auth-{LATEST VERSION}-all.jar

      File Amazon MSK IAM JAR memungkinkan mesin klien Anda mengakses kluster MSK menggunakan otentikasi IAM.

      catatan

      Sebelum menjalankan perintah Kafka yang berinteraksi dengan kluster MSK Anda, Anda mungkin perlu menambahkan file Amazon MSK IAM JAR ke classpath Java Anda. Mengatur variabel CLASSPATH lingkungan, seperti yang ditunjukkan pada contoh berikut.

      export CLASSPATH=$KAFKA_ROOT/libs/aws-msk-iam-auth-{LATEST VERSION}-all.jar

      Ini mengatur CLASSPATH untuk seluruh sesi Anda, membuat JAR tersedia untuk semua perintah Kafka berikutnya.

    2. Pergi ke $KAFKA_ROOT/config direktori untuk membuat file konfigurasi klien.

      cd $KAFKA_ROOT/config

    3. Salin pengaturan properti berikut dan tempel ke file baru. Simpan file sebagai client.properties.

      security.protocol=SASL_SSL
sasl.mechanism=AWS_MSK_IAM
sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;
sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler

  5. (Opsional) Jika Anda mengalami masalah terkait memori atau bekerja dengan sejumlah besar topik atau partisi, Anda dapat menyesuaikan ukuran tumpukan Java untuk alat Kafka. Untuk melakukan ini, atur variabel KAFKA_HEAP_OPTS lingkungan sebelum menjalankan perintah Kafka.

    Contoh berikut menetapkan ukuran heap maksimum dan awal menjadi 512 megabyte. Sesuaikan nilai-nilai ini sesuai dengan kebutuhan spesifik Anda dan sumber daya sistem yang tersedia.

    export KAFKA_HEAP_OPTS="-Xmx512M -Xms512M"

  6. Dapatkan informasi koneksi cluster Anda.

    1. Buka konsol MSK Amazon dihttps://console.aws.amazon.com/msk/.

    2. Tunggu status klaster Anda menjadi Aktif. Ini mungkin memakan waktu beberapa menit. Setelah status menjadi Aktif, pilih nama cluster. Ini akan membawa Anda ke halaman yang berisi ringkasan cluster.

    3. Pilih Lihat informasi klien.

    4. Salin string koneksi untuk titik akhir pribadi.

      Anda akan mendapatkan tiga titik akhir untuk masing-masing broker. Simpan salah satu string koneksi ini dalam variabel lingkunganBOOTSTRAP_SERVER, seperti yang ditunjukkan pada perintah berikut. Ganti <bootstrap-server-string> dengan nilai sebenarnya dari string koneksi.

      export BOOTSTRAP_SERVER=<bootstrap-server-string>

  7. Jalankan perintah berikut untuk membuat topik.

    $KAFKA_ROOT/bin/kafka-topics.sh --create --bootstrap-server $BOOTSTRAP_SERVER --command-config $KAFKA_ROOT/config/client.properties --replication-factor 3 --partitions 1 --topic MSKTutorialTopic

    Jika Anda mendapatkan NoSuchFileException untuk client.properties file tersebut, pastikan bahwa file ini ada di direktori kerja saat ini dalam direktori Kafka bin.

    catatan

    Jika Anda memilih untuk tidak mengatur variabel CLASSPATH lingkungan untuk seluruh sesi Anda, Anda dapat mengawali setiap perintah Kafka dengan variabel. CLASSPATH Pendekatan ini menerapkan classpath hanya untuk perintah tertentu.

    CLASSPATH=$KAFKA_ROOT/libs/aws-msk-iam-auth-{LATEST VERSION}-all.jar \
$KAFKA_ROOT/bin/kafka-topics.sh --create \
--bootstrap-server $BOOTSTRAP_SERVER \
--command-config $KAFKA_ROOT/config/client.properties \
--replication-factor 3 \
--partitions 1 \
--topic MSKTutorialTopic

  8. (Opsional) Verifikasi bahwa topik telah berhasil dibuat.

    1. Jika perintah berhasil, Anda akan melihat pesan berikut: Created topic MSKTutorialTopic.

    2. Buat daftar semua topik untuk mengonfirmasi bahwa topik Anda ada.

      $KAFKA_ROOT/bin/kafka-topics.sh --list --bootstrap-server $BOOTSTRAP_SERVER --command-config $KAFKA_ROOT/config/client.properties

    Jika perintah tidak berhasil atau Anda mengalami kesalahan, lihat Memecahkan masalah kluster MSK Amazon Anda untuk informasi pemecahan masalah.

  9. (Opsional) Jika Anda ingin menyimpan variabel lingkungan Anda untuk langkah selanjutnya dalam tutorial ini, lewati langkah ini. Jika tidak, Anda dapat menghapus variabel, seperti yang ditunjukkan pada contoh berikut.

    unset KAFKA_VERSION KAFKA_ROOT BOOTSTRAP_SERVER CLASSPATH KAFKA_HEAP_OPTS

Langkah Selanjutnya

Langkah 5: Menghasilkan dan Mengkonsumsi Data