View a markdown version of this page

Konfigurasikan Zeppelin untuk kluster EMR Amazon Apache Ranger-enabled - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasikan Zeppelin untuk kluster EMR Amazon Apache Ranger-enabled

Topik ini mencakup cara mengkonfigurasi Apache Zeppelin untuk cluster EMR Ranger-enabled Amazon Apache sehingga Anda dapat menggunakan Zeppelin sebagai notebook untuk eksplorasi data interaktif. Zeppelin disertakan dalam versi rilis Amazon EMR 5.0.0 dan yang lebih baru. Versi rilis sebelumnya termasuk Zeppelin sebagai suatu aplikasi sandbox. Untuk informasi selengkapnya, lihat Versi Amazon EMR rilis 4.x di Panduan Amazon EMR Rilis.

Secara default, Zeppelin dikonfigurasi dengan login dan kata sandi default yang tidak aman di lingkungan multi-penyewa.

Untuk mengkonfigurasi Zeppelin, selesaikan langkah-langkah berikut.

  1. Memodifikasi mekanisme otentikasi.

    Ubah shiro.ini file untuk mengimplementasikan mekanisme otentikasi pilihan Anda. Zeppelin mendukung Direktori Aktif, LDAP, PAM, dan Knox SSO. Lihat autentikasi Apache Shiro untuk Apache Zeppelin untuk informasi selengkapnya.

  2. Konfigurasikan Zeppelin untuk meniru pengguna akhir

    Ketika Anda mengizinkan Zeppelin untuk meniru pengguna akhir, pekerjaan yang dikirimkan oleh Zeppelin dapat dijalankan sebagai pengguna akhir tersebut. Tambahkan konfigurasi berikut kecore-site.xml:

    [
  {
    "Classification": "core-site",
    "Properties": {
      "hadoop.proxyuser.zeppelin.hosts": "*",
      "hadoop.proxyuser.zeppelin.groups": "*"
    },
    "Configurations": [
    ]
  }
]

    Selanjutnya, tambahkan konfigurasi berikut ke hadoop-kms-site.xml lokasi di/etc/hadoop/conf:

    [
  {
    "Classification": "hadoop-kms-site",
    "Properties": {
      "hadoop.kms.proxyuser.zeppelin.hosts": "*",
      "hadoop.kms.proxyuser.zeppelin.groups": "*"
    },
    "Configurations": [
    ]
  }
]

    Anda juga dapat menambahkan konfigurasi ini ke klaster EMR Amazon menggunakan konsol dengan mengikuti langkah-langkah dalam Mengkonfigurasi ulang grup instans di konsol.

  3. Izinkan Zeppelin ke sudo sebagai pengguna akhir

    Buat file /etc/sudoers.d/90-zeppelin-user yang berisi berikut ini:

    zeppelin ALL=(ALL) NOPASSWD:ALL

  4. Ubah pengaturan interpreter untuk menjalankan tugas pengguna di proses mereka sendiri.

    Untuk semua penerjemah, konfigurasikan mereka untuk membuat instance penerjemah “Per Pengguna” dalam proses “terisolasi”.

    Diagram arsitektur Amazon EMR dan Apache Ranger.

  5. Memodifikasi zeppelin-env.sh

    Tambahkan yang berikut ini zeppelin-env.sh agar Zeppelin mulai meluncurkan interpreter sebagai pengguna akhir:

    ZEPPELIN_IMPERSONATE_USER=`echo ${ZEPPELIN_IMPERSONATE_USER} | cut -d @ -f1`
export ZEPPELIN_IMPERSONATE_CMD='sudo -H -u ${ZEPPELIN_IMPERSONATE_USER} bash -c'

    Tambahkan yang berikut ini zeppelin-env.sh untuk mengubah izin buku catatan default menjadi hanya-baca ke pembuat saja:

    export ZEPPELIN_NOTEBOOK_PUBLIC="false"

    Akhirnya, tambahkan berikut ini zeppelin-env.sh untuk menyertakan jalur RecordServer kelas EMR setelah pernyataan pertamaCLASSPATH:

    export CLASSPATH="$CLASSPATH:/usr/share/aws/emr/record-server/lib/aws-emr-record-server-connector-common.jar:/usr/share/aws/emr/record-server/lib/aws-emr-record-server-spark-connector.jar:/usr/share/aws/emr/record-server/lib/aws-emr-record-server-client.jar:/usr/share/aws/emr/record-server/lib/aws-emr-record-server-common.jar:/usr/share/aws/emr/record-server/lib/jars/secret-agent-interface.jar"

  6. Mulai Ulang Zeppelin.

    Jalankan perintah berikut untuk me-restart Zeppelin:

    sudo systemctl restart zeppelin