Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memuat data dari Amazon EMR

Anda dapat menggunakan perintah COPY untuk memuat data secara paralel dari kluster EMR Amazon yang dikonfigurasi untuk menulis file teks ke Hadoop Distributed File System (HDFS) cluster sebagai file dengan lebar tetap, file yang dibatasi karakter, file CSV, atau file berformat JSON.

Proses untuk memuat data dari Amazon EMR

Bagian ini memandu Anda melalui proses pemuatan data dari kluster EMR Amazon. Bagian berikut memberikan rincian yang harus Anda capai setiap langkah.

Langkah 1: Konfigurasikan izin IAM

Pengguna yang membuat cluster EMR Amazon dan menjalankan perintah Amazon Redshift COPY harus memiliki izin yang diperlukan.

Langkah 2: Buat cluster EMR Amazon

Perintah COPY memuat data dari file di Amazon EMR Hadoop Distributed File System (HDFS). Saat Anda membuat kluster EMR Amazon, konfigurasikan cluster untuk mengeluarkan file data ke HDFS cluster.

Langkah 3: Ambil kunci publik klaster Amazon Redshift dan alamat IP node cluster

Anda akan menggunakan alamat IP untuk setiap node cluster untuk mengonfigurasi grup keamanan host untuk mengizinkan akses dari cluster Amazon Redshift Anda menggunakan alamat IP ini.

Untuk mengambil kunci publik klaster dan alamat IP node cluster untuk klaster Anda menggunakan Amazon Redshift CLI, jalankan perintah describe-clusters. Misalnya:

aws redshift describe-clusters --cluster-identifier <cluster-identifier> 

Respons akan mencakup ClusterPublicKey nilai dan daftar alamat IP pribadi dan publik, mirip dengan yang berikut ini:

{
    "Clusters": [
        {
            "VpcSecurityGroups": [], 
            "ClusterStatus": "available", 
            "ClusterNodes": [
                {
                    "PrivateIPAddress": "10.nnn.nnn.nnn", 
                    "NodeRole": "LEADER", 
                    "PublicIPAddress": "10.nnn.nnn.nnn"
                }, 
                {
                    "PrivateIPAddress": "10.nnn.nnn.nnn", 
                    "NodeRole": "COMPUTE-0", 
                    "PublicIPAddress": "10.nnn.nnn.nnn"
                }, 
                {
                    "PrivateIPAddress": "10.nnn.nnn.nnn", 
                    "NodeRole": "COMPUTE-1", 
                    "PublicIPAddress": "10.nnn.nnn.nnn"
                }
            ], 
            "AutomatedSnapshotRetentionPeriod": 1, 
            "PreferredMaintenanceWindow": "wed:05:30-wed:06:00", 
            "AvailabilityZone": "us-east-1a", 
            "NodeType": "dc2.large", 
            "ClusterPublicKey": "ssh-rsa AAAABexamplepublickey...Y3TAl Amazon-Redshift", 
             ...
             ...
}

Untuk mengambil kunci publik klaster dan alamat IP node cluster untuk klaster Anda menggunakan Amazon Redshift API, gunakan DescribeClusters tindakan tersebut. Untuk informasi selengkapnya, lihat deskripsikan klaster di Panduan CLI Amazon Redshift atau DescribeClustersdi Panduan Amazon Redshift API.

Langkah 4: Tambahkan kunci publik klaster Amazon Redshift ke setiap file kunci resmi EC2 host Amazon

Anda menambahkan kunci publik klaster ke file kunci resmi masing-masing host untuk semua node cluster EMR Amazon sehingga host akan mengenali Amazon Redshift dan menerima koneksi SSH.

Langkah 5: Konfigurasikan host untuk menerima semua alamat IP cluster Amazon Redshift

Untuk mengizinkan lalu lintas masuk ke instans host, edit grup keamanan dan tambahkan satu aturan Inbound untuk setiap node cluster Amazon Redshift. Untuk Type, pilih SSH dengan protokol TCP pada Port 22. Untuk Sumber, masukkan alamat IP pribadi node cluster Amazon Redshift yang Anda ambil. Langkah 3: Ambil kunci publik klaster Amazon Redshift dan alamat IP node cluster Untuk informasi tentang menambahkan aturan ke grup EC2 keamanan Amazon, lihat Mengotorisasi Lalu Lintas Masuk untuk Instans Anda di Panduan Pengguna Amazon EC2 .

Langkah 6: Jalankan perintah COPY untuk memuat data

Jalankan MENYONTEK perintah untuk menyambung ke kluster EMR Amazon dan memuat data ke dalam tabel Amazon Redshift. Cluster EMR Amazon harus terus berjalan hingga perintah COPY selesai. Misalnya, jangan mengkonfigurasi cluster untuk mengakhiri otomatis.

Dalam perintah COPY, tentukan ID cluster EMR Amazon dan jalur file HDFS dan nama file.

COPY sales
FROM 'emr://myemrclusterid/myoutput/part*' CREDENTIALS 
IAM_ROLE 'arn:aws:iam::0123456789012:role/MyRedshiftRole';

Anda dapat menggunakan karakter wildcard asterisk (*) dan tanda tanya (?) sebagai bagian dari argumen nama file. Misalnya, part* memuat filepart-0000,part-0001, dan sebagainya. Jika Anda hanya menentukan nama folder, COPY mencoba memuat semua file di folder.