Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Mulai cepat: Buat domain kotak pasir SageMaker AI untuk meluncurkan kluster EMR Amazon di Studio
Bagian ini memandu Anda melalui pengaturan cepat lingkungan pengujian lengkap di Amazon SageMaker Studio. Anda akan membuat domain Studio baru yang memungkinkan pengguna meluncurkan kluster EMR Amazon baru langsung dari Studio. Langkah-langkahnya memberikan contoh notebook yang dapat Anda sambungkan ke klaster EMR Amazon untuk mulai menjalankan Spark beban kerja. Dengan menggunakan notebook ini, Anda akan membangun Retrieval Augmented Generation System (RAG) menggunakan pemrosesan terdistribusi Amazon EMR Spark dan database vektor. OpenSearch
**catatan**
Untuk memulai, masuk ke Konsol AWS Manajemen menggunakan akun pengguna AWS Identity and Access Management (IAM) dengan izin admin. Untuk informasi tentang cara mendaftar AWS akun dan membuat pengguna dengan akses administratif, lihat[Lengkapi prasyarat Amazon SageMaker AI](gs-set-up.md).
**Untuk menyiapkan lingkungan pengujian Studio dan mulai menjalankan Spark pekerjaan:**
+ [Langkah 1: Buat domain SageMaker AI untuk meluncurkan cluster EMR Amazon di Studio](#studio-notebooks-emr-cluster-quickstart-setup)
+ [Langkah 2: Luncurkan cluster EMR Amazon baru dari Studio UI](#studio-notebooks-emr-cluster-quickstart-launch)
+ [Langkah 3: Hubungkan JupyterLab notebook ke cluster Amazon EMR](#studio-notebooks-emr-cluster-quickstart-connect)
+ [Langkah 4: Bersihkan CloudFormation tumpukan Anda](#studio-notebooks-emr-cluster-quickstart-clean-stack)
## Langkah 1: Buat domain SageMaker AI untuk meluncurkan cluster EMR Amazon di Studio
Pada langkah-langkah berikut, Anda menerapkan CloudFormation tumpukan untuk secara otomatis membuat domain SageMaker AI baru. Tumpukan juga membuat profil pengguna dan mengonfigurasi lingkungan dan izin yang diperlukan. Domain SageMaker AI dikonfigurasi untuk memungkinkan Anda meluncurkan kluster EMR Amazon secara langsung dari Studio. Untuk contoh ini, cluster EMR Amazon dibuat di AWS akun yang sama dengan SageMaker AI tanpa otentikasi. [Anda dapat menemukan CloudFormation tumpukan tambahan yang mendukung berbagai metode otentikasi seperti Kerberos di repositori getting\$1started.](https://github.com/aws-samples/sagemaker-studio-emr/tree/main/cloudformation/getting_started) GitHub
**catatan**
SageMaker AI memungkinkan 5 domain Studio per AWS akun dan secara Wilayah AWS default. Pastikan akun Anda memiliki tidak lebih dari 4 domain di wilayah Anda sebelum Anda membuat tumpukan.
**Ikuti langkah-langkah ini untuk menyiapkan domain SageMaker AI untuk meluncurkan kluster EMR Amazon dari Studio.**
1. Unduh file mentah [CloudFormation template](https://github.com/aws-samples/sagemaker-studio-foundation-models/blob/main/workshop-artifacts/cfn/workshop-cfn.yaml) ini dari `sagemaker-studio-emr` GitHub repositori.
1. Pergi ke CloudFormation konsol: [https://console.aws.amazon.com/cloudformation](https://console.aws.amazon.com/cloudformation/)
1. Pilih **Buat tumpukan** dan pilih **Dengan sumber daya baru (standar)** dari menu tarik-turun.
1. Di **Langkah 1:**
1. Di bagian **Siapkan templat**, pilih **Pilih templat yang ada**.
1. Di bagian **Tentukan templat**, pilih **Unggah file templat**.
1. Unggah CloudFormation templat yang diunduh dan pilih **Berikutnya**.
1. Pada **Langkah 2**, masukkan **nama Stack** dan **SageMakerDomainName**kemudian pilih **Berikutnya**.
1. Pada **Langkah 3**, simpan semua nilai default dan pilih **Berikutnya**.
1. Pada **Langkah 4**, centang kotak untuk mengakui pembuatan sumber daya dan pilih **Buat tumpukan**. Ini membuat domain Studio di akun dan wilayah Anda.
## Langkah 2: Luncurkan cluster EMR Amazon baru dari Studio UI
Pada langkah-langkah berikut, Anda membuat cluster EMR Amazon baru dari UI Studio.
1. Buka konsol SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)dan pilih **Domain** di menu sebelah kiri.
1. Klik nama domain Anda **Generatif AIDomain** untuk membuka halaman **detail Domain**.
1. Luncurkan Studio dari profil pengguna`genai-user`.
1. Di panel navigasi kiri, buka **Data** lalu **Amazon EMR Clusters**.
1. **Di halaman kluster EMR Amazon, pilih Buat.** **Pilih template **SageMaker Studio Domain No Auth EMR** yang dibuat oleh CloudFormation tumpukan dan kemudian pilih Berikutnya.**
1. Masukkan nama untuk cluster EMR Amazon baru. Opsional memperbarui parameter lain seperti jenis instance core dan master node, idle timeout, atau jumlah node inti.
1. Pilih **Buat sumber daya** untuk meluncurkan kluster EMR Amazon baru.
Setelah membuat cluster EMR Amazon, ikuti status di halaman Cluster **EMR**. Saat status berubah`Running/Waiting`, klaster EMR Amazon Anda siap digunakan di Studio.
## Langkah 3: Hubungkan JupyterLab notebook ke cluster Amazon EMR
Pada langkah-langkah berikut, Anda menghubungkan notebook JupyterLab ke cluster EMR Amazon yang sedang berjalan. Untuk contoh ini, Anda mengimpor notebook yang memungkinkan Anda membangun sistem Retrieval Augmented Generation (RAG) menggunakan pemrosesan terdistribusi Amazon EMR Spark dan database vektor. OpenSearch
1.
**Peluncuran JupyterLab**
Dari Studio, luncurkan JupyterLab aplikasi.
1.
**Buat ruang pribadi**
Jika Anda belum membuat ruang untuk JupyterLab aplikasi Anda, pilih **Buat JupyterLab spasi**. Masukkan nama untuk spasi, dan pertahankan ruang sebagai **Pribadi**. Biarkan semua pengaturan lain pada nilai defaultnya, lalu pilih **Buat ruang**.
Jika tidak, jalankan JupyterLab ruang Anda untuk meluncurkan JupyterLab aplikasi.
1.
**Terapkan LLM Anda dan menyematkan model untuk inferensi**
+ Dari menu atas, pilih **File**, **New**, dan kemudian **Terminal**.
+ Di terminal, jalankan perintah berikut.
```
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb
mkdir AWSGuides
cd AWSGuides
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/AmazonSageMakerDeveloperGuide.pdf
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/EC2DeveloperGuide.pdf
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/S3DeveloperGuide.pdf
```
Ini mengambil `Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb` buku catatan ke direktori lokal Anda dan mengunduh tiga file PDF ke `AWSGuides` folder lokal.
+ Buka`lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb`, simpan `Python 3 (ipykernel)` kernel, dan jalankan setiap sel.
**Awas**
Di bagian **Perjanjian Lisensi Llama 2**, pastikan untuk menerima EULA Llama2 sebelum Anda melanjutkan.
Notebook ini menyebarkan dua model, `Llama 2` dan`all-MiniLM-L6-v2 Models`, `ml.g5.2xlarge` untuk inferensi.
Penyebaran model dan pembuatan titik akhir mungkin memakan waktu.
1.
**Buka buku catatan utama Anda**
Masuk JupyterLab, buka terminal Anda dan jalankan perintah berikut.
```
cd ..
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
```
Anda akan melihat `Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb` notebook tambahan di panel kiri JupyterLab.
1.
**Pilih `PySpark` kernel**
Buka `Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb` buku catatan Anda dan pastikan Anda menggunakan `SparkMagic PySpark` kernel. Anda dapat mengganti kernel di kanan atas notebook Anda. Pilih nama kernel saat ini untuk membuka modal pemilihan kernel, lalu pilih`SparkMagic PySpark`.
1.
**Hubungkan notebook Anda ke cluster**
1. Di kanan atas notebook Anda, pilih **Cluster**. Tindakan ini membuka jendela modal yang mencantumkan semua cluster yang berjalan yang Anda memiliki izin untuk mengakses.
1. Pilih klaster Anda lalu pilih **Connect**. Jendela modal pemilihan tipe kredensi baru terbuka.
1. Pilih **No credential** dan kemudian **Connect**.
![\[Modal yang menunjukkan pilihan kredensi EMR Amazon untuk notebook. JupyterLab\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/studio/emr/studio-notebooks-emr-credential-selection.png)
1. Sel notebook secara otomatis mengisi dan berjalan. Sel notebook memuat `sagemaker_studio_analytics_extension.magics` ekstensi, yang menyediakan fungsionalitas untuk terhubung ke cluster EMR Amazon. Kemudian menggunakan perintah `%sm_analytics` ajaib untuk memulai koneksi ke cluster EMR Amazon Anda dan aplikasi Spark.
**catatan**
Pastikan string koneksi ke kluster EMR Amazon Anda memiliki jenis otentikasi yang disetel ke. `None` Ini diilustrasikan oleh nilai `--auth-type None` dalam contoh berikut. Anda dapat memodifikasi bidang jika perlu.
```
%load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --verify-certificate False --cluster-id your-cluster-id --auth-type None --language python
```
1. Setelah Anda berhasil membuat koneksi, pesan keluaran sel koneksi Anda akan menampilkan `SparkSession` detail Anda termasuk ID klaster, ID `YARN` aplikasi, dan tautan ke Spark UI untuk memantau Spark pekerjaan Anda.
Anda siap menggunakan `Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb` notebook. Notebook contoh ini menjalankan PySpark beban kerja terdistribusi untuk membangun sistem RAG menggunakan LangChain dan. OpenSearch
## Langkah 4: Bersihkan CloudFormation tumpukan Anda
Setelah Anda selesai, pastikan untuk mengakhiri dua titik akhir Anda dan menghapus CloudFormation tumpukan Anda untuk mencegah biaya lanjutan. Menghapus tumpukan membersihkan semua sumber daya yang disediakan oleh tumpukan.
**Untuk menghapus CloudFormation tumpukan Anda ketika Anda selesai dengan itu**
1. Pergi ke CloudFormation konsol: [https://console.aws.amazon.com/cloudformation](https://console.aws.amazon.com/cloudformation/)
1. Pilih tumpukan yang ingin Anda hapus. Anda dapat mencarinya dengan nama atau menemukannya di daftar tumpukan.
1. Klik tombol **Delete** untuk menyelesaikan penghapusan tumpukan dan kemudian **Hapus** lagi untuk mengakui bahwa ini akan menghapus semua sumber daya yang dibuat oleh tumpukan.
Tunggu penghapusan tumpukan selesai. Ini bisa memakan waktu beberapa menit. CloudFormation secara otomatis membersihkan semua sumber daya yang ditentukan dalam template tumpukan.
1. Verifikasi bahwa semua sumber daya yang dibuat oleh tumpukan telah dihapus. Misalnya, periksa klaster EMR Amazon yang tersisa.
**Untuk menghapus titik akhir API untuk model**
1. Buka konsol SageMaker AI: [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. **Di panel navigasi kiri, pilih **Inferensi** dan kemudian Titik Akhir.**
1. Pilih titik akhir `hf-allminil6v2-embedding-ep` dan kemudian pilih **Hapus** di daftar drop-down **Tindakan**. Ulangi langkah untuk titik akhir`meta-llama2-7b-chat-tg-ep`.