Menyalin data CSV skala besar menggunakan Peta Terdistribusi di Fungsi Langkah

1. Buka konsol Step Func tions, pilih State machines dari menu, lalu pilih Create state machine.

2. Pilih Buat dari kosong.

3. Beri nama mesin status Anda, lalu pilih Lanjutkan untuk mengedit mesin status Anda di Workflow Studio.

4. Dari tab Flow, seret status Peta dan jatuhkan ke status kosong berlabel Drag first state di sini.

5. Di tab Konfigurasi, untuk Nama negara, masukkanProcess data.

6. Dari tab Actions, seret tindakan AWS Lambda Invoke API dan letakkan di dalam status data Proses.

7. Ganti nama AWS Lambda status Invoke Process CSV data menjadi.

Untuk mengkonfigurasi bidang yang diperlukan:

1. Pilih status data proses dan, di tab Konfigurasi, lakukan hal berikut:

   1. Untuk mode Pemrosesan, pilih Didistribusikan.

   2. Untuk Sumber item, pilih Amazon S3, lalu pilih file CSV di S3 dari daftar dropdown sumber item S3.

   3. Lakukan hal berikut untuk menentukan lokasi Amazon S3 file CSV Anda:

      1. Untuk objek S3, pilih Masukkan bucket dan kunci dari daftar dropdown.

      2. Untuk Bucket, masukkan nama bucket Amazon S3, yang berisi file CSV. Misalnya, amzn-s3-demo-source-bucket.

      3. Untuk K unci, masukkan nama objek Amazon S3 tempat Anda menyimpan file CSV. Anda juga harus menentukan nama file CSV di bidang ini. Misalnya, csvDataset/ratings.csv.

   4. Untuk file CSV, Anda juga harus menentukan lokasi header kolom. Untuk melakukan ini, pilih Konfigurasi tambahan, dan kemudian untuk lokasi header CSV per tahankan pilihan default Bar is pertama jika baris pertama file CSV Anda adalah header. Jika tidak, pilih Given untuk menentukan header dalam definisi mesin status. Untuk informasi selengkapnya, lihat ReaderConfig.

   5. Untuk Jenis eksekusi Anak, pilih Ekspres.

2. Di Lokasi Ek spor, untuk mengekspor hasil Map Run ke lokasi Amazon S3 tertentu, pilih Ekspor output status Peta ke Amazon S3.

3. Lakukan hal-hal berikut:

   1. Untuk bucket S3, pilih Masukkan nama dan awalan bucket dari daftar dropdown.

   2. Untuk Bucket, masukkan nama bucket Amazon S3 tempat Anda ingin mengekspor hasilnya. Misalnya, mapOutputs.

   3. Untuk A walan, masukkan nama folder tempat Anda ingin menyimpan hasilnya. Misalnya, resultData.

1. Pilih status data proses. Kemudian, di Sumber item, pilih Konfigur asi tambahan.

2. Lakukan hal-hal berikut:

   1. Pilih Ubah item dengan ItemSelector untuk menentukan input JSON khusus untuk setiap eksekusi alur kerja anak.

   2. Masukkan input JSON berikut:

      {
        "index.$": "$$.Map.Item.Index",
        "value.$": "$$.Map.Item.Value"
      }

      Untuk informasi tentang cara membuat input kustom, lihatItemSelector (Peta).

3. Dalam pengaturan Runtime, untuk Batas konkurensi, tentukan jumlah eksekusi alur kerja anak bersamaan yang dapat dimulai oleh status Peta Terdistribusi. Misalnya, masukkan 100.

4. Buka jendela atau tab baru di browser Anda dan selesaikan konfigurasi fungsi Lambda yang akan Anda gunakan dalam alur kerja ini, seperti yang dijelaskan diLangkah 4: Konfigurasikan fungsi Lambda.

1. Buka konsol Lambda dan pilih Create function.

2. Pilih halaman Buat fungsi, pilih Penulis dari scratch.

3. Di bagian Informasi dasar, konfigurasikan fungsi Lambda Anda:

   1. Untuk Nama fungsi, masukkan distributedMapLambda.

   2. Untuk Runtime, pilih Node.js.

   3. Simpan semua pilihan default dan pilih Create function.

   4. Setelah Anda membuat fungsi Lambda, salin Nama Sumber Daya Amazon (ARN) fungsi yang ditampilkan. Anda harus menyediakan ini dalam prototipe alur kerja Anda. Berikut ini adalah contoh ARN:

      arn:aws:lambda:us-east-2:123456789012:function:distributedMapLambda

4. Salin kode berikut untuk fungsi Lambda dan tempelkan ke bagian sumber Kode dari MapLambda halaman yang didistribusikan.

   exports.handler = async function(event, context) {
       console.log("Received Input:\n", event);
   
       return {
           'statusCode' : 200,
           'inputReceived' : event //returns the input that it received
       }
   };

5. Pilih Deploy. Setelah fungsi Anda diterapkan, pilih U ji untuk melihat output dari fungsi Lambda Anda.

1. Kembali ke tab atau jendela tempat Anda membuat prototipe alur kerja.

2. Pilih langkah Proses data CSV, dan di tab Konfigurasi, lakukan hal berikut:

   1. Untuk Jenis Integrasi, pilih Di optimalkan.

   2. Untuk Nama fungsi, mulailah memasukkan nama fungsi Lambda Anda. Pilih fungsi dari daftar dropdown yang muncul, atau pilih Masukkan nama fungsi dan berikan fungsi Lambda ARN.

1. (Opsional) Pilih Definisi pada Panel inspektur panel dan lihat definisi mesin status.

   Tip

   Anda juga dapat melihat definisi ASL di Editor kode Workflow Studio. Di editor kode, Anda juga dapat mengedit definisi ASL alur kerja Anda.

   Kode contoh berikut menunjukkan definisi Bahasa Negara Bagian Amazon yang dibuat secara otomatis untuk alur kerja Anda.

   {
     "Comment": "Using Map state in Distributed mode",
     "StartAt": "Process data",
     "States": {
       "Process data": {
         "Type": "Map",
         "MaxConcurrency": 100,
         "ItemReader": {
           "ReaderConfig": {
             "InputType": "CSV",
             "CSVHeaderLocation": "FIRST_ROW"
           },
           "Resource": "arn:aws:states:::s3:getObject",
           "Parameters": {
             "Bucket": "amzn-s3-demo-source-bucket",
             "Key": "csvDataset/ratings.csv"
           }
         },
         "ItemProcessor": {
           "ProcessorConfig": {
             "Mode": "DISTRIBUTED",
             "ExecutionType": "EXPRESS"
           },
           "StartAt": "Process CSV data",
           "States": {
             "Process CSV data": {
               "Type": "Task",
               "Resource": "arn:aws:states:::lambda:invoke",
               "OutputPath": "$.Payload",
               "Parameters": {
                 "Payload.$": "$",
                 "FunctionName": "arn:aws:lambda:us-east-2:account-id:function:distributedMapLambda"
               },
               "End": true
             }
           }
         },
         "Label": "Processdata",
         "End": true,
         "ResultWriter": {
           "Resource": "arn:aws:states:::s3:putObject",
           "Parameters": {
             "Bucket": "mapOutputs",
             "Prefix": "resultData"
           }
         },
         "ItemSelector": {
           "index.$": "$$.Map.Item.Index",
           "value.$": "$$.Map.Item.Value"
         }
       }
     }
   }

2. Tentukan nama untuk mesin status Anda. Untuk melakukan ini, pilih ikon edit di sebelah nama mesin status default MyStateMachine. Kemudian, di Konfigurasi mesin negara, tentukan nama di kotak nama mesin negara.

   Untuk tutorial ini, masukkan nama DistributedMapDemo.

3. (Opsional) Dalam konfigurasi mesin status, tentukan pengaturan alur kerja lainnya, seperti jenis mesin status dan peran eksekusinya.

   Untuk tutorial ini, simpan semua pilihan default di konfigurasi mesin State.

4. Di kotak dialog Kon firmasi pembuatan peran, pilih Kon firmasi untuk melanjutkan.

   Anda juga dapat memilih Lihat pengaturan peran untuk kembali ke konfigurasi mesin Status.

   catatan

   Jika Anda menghapus IAM role yang Step Functions buat, Step Functions tidak dapat membuatnya kembali nanti. Demikian pula, jika Anda mengubah peran (misalnya, dengan menghapus Step Functions dari principal dalam kebijakan IAM), Step Functions tidak dapat memulihkan pengaturan aslinya nanti.

1. Pada DistributedMapDemo halaman, pilih Mulai eksekusi.

2. Di kotak dialog Mulai eksekusi, lakukan hal berikut:

   1. (Opsional) Masukkan nama eksekusi khusus untuk mengganti default yang dihasilkan.

      Non-ASCII nama dan pencatatan

      Fungsi Langkah menerima nama untuk mesin status, eksekusi, aktivitas, dan label yang berisi karakter non-ASCII. Karena karakter tersebut akan CloudWatch mencegah Amazon mencatat data, sebaiknya gunakan hanya karakter ASCII sehingga Anda dapat melacak metrik Fungsi Langkah.

   2. (Opsional) Di kotak Input, masukkan nilai input dalam format JSON untuk menjalankan alur kerja Anda.

   3. Pilih Mulai Eksekusi.

   4. Konsol Fungsi Langkah mengarahkan Anda ke halaman yang diberi judul dengan ID eksekusi Anda, yang dikenal sebagai halaman Detail Eksekusi. Anda dapat meninjau hasil eksekusi saat alur kerja berlangsung dan setelah selesai.

      Untuk meninjau hasil eksekusi, pilih status individual pada tampilan Grafik, lalu pilih tab individual pada Detail langkah panel untuk melihat detail setiap negara termasuk masukan, keluaran, dan definisi masing-masing. Untuk detail tentang informasi eksekusi yang dapat Anda lihat di halaman Detail Eksekusi, lihatIkhtisar detail eksekusi.

   Misalnya, pilih Map status, lalu pilih Map Run untuk membuka halaman Detail Jalankan Peta. Di halaman ini, Anda dapat melihat semua detail eksekusi status Peta Terdistribusi dan eksekusi alur kerja anak yang dimulai. Untuk informasi tentang halaman ini, lihatMelihat Peta Berjalan.