Gunakan fmeval pustaka untuk menjalankan evaluasi otomatis

Prasyarat

• Untuk menjalankan evaluasi model di UI Studio, peran AWS Identity and Access Management (IAM) Anda dan kumpulan data input apa pun harus memiliki izin yang benar. Jika Anda tidak memiliki peran Domain SageMaker AI atau IAM, ikuti langkah-langkahnya. Panduan untuk mengatur dengan Amazon SageMaker AI

Untuk mengatur izin bucket Amazon S3

Setelah domain dan peran Anda dibuat, gunakan langkah-langkah berikut untuk menambahkan izin yang diperlukan untuk mengevaluasi model Anda.

1. Buka konsol Amazon SageMaker AI di https://console.aws.amazon.com/sagemaker/.

2. Di panel navigasi, masukkan S3 ke bilah pencarian di bagian atas halaman.

3. Pada layanan , pilih S3.

4. Di panel navigasi, pilih Bucket.

5. Di bagian Bucket tujuan umum, di bawah Nama, pilih nama bucket S3 yang ingin Anda gunakan untuk menyimpan input dan output model Anda di konsol. Jika Anda tidak memiliki bucket S3, lakukan hal berikut:

   1. Pilih Buat ember untuk membuka halaman Bucket Buat baru.

   2. Di bagian Konfigurasi umum, di bawah AWS Wilayah, pilih AWS wilayah tempat model pondasi Anda berada.

   3. Beri nama bucket S3 Anda di kotak input di bawah nama Bucket.

   4. Terima semua pilihan default.

   5. Pilih Buat bucket.

   6. Di bagian Bucket tujuan umum, di bawah Nama, pilih nama bucket S3 yang Anda buat.

6. Pilih tab Izin.

7. Gulir ke Berbagi sumber daya lintas-asal (CORS) bagian di bagian bawah jendela. Pilih Edit.

8. Untuk menambahkan izin ke bucket Anda untuk evaluasi foundation, pastikan kode berikut muncul di kotak input. Anda juga dapat menyalin dan menempelkan hal berikut ke dalam kotak input.

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. Pilih Simpan perubahan.

Untuk menambahkan izin ke kebijakan IAM Anda

1. Di bilah pencarian di bagian atas halaman, masukkanIAM.

2. Di bawah Layanan, pilih Identity and Access Management (IAM).

3. Di panel navigasi, pilih Kebijakan.

4. Masukkan AmazonSageMakerFullAccesske dalam bilah pencarian. Pilih tombol radio di samping kebijakan yang muncul. Tombol Actions sekarang dapat dipilih.

5. Pilih panah bawah di sebelah Tindakan. Dua opsi muncul.

6. Pilih Lampirkan.

7. Di daftar IAM yang muncul, cari nama peran yang Anda buat. Centang kotak di samping file .

8. Pilih Lampirkan kebijakan.

Mulai menggunakan Studio

1. Di bilah pencarian di bagian atas halaman, masukkanSageMaker AI.

2. Di bawah Layanan, pilih Amazon SageMaker AI.

3. Pilih Mulai di panel navigasi.

4. Pilih domain Anda dari bagian Memulai, setelah memperluas panah bawah di bawah Pilih Domain.

5. Pilih profil pengguna Anda dari bagian Memulai setelah memperluas panah bawah di bawah Pilih profil pengguna.

6. Pilih Open Studio untuk membuka landing page Studio.

7. Pilih browser file dari panel navigasi dan arahkan ke direktori root.

8. Pilih Buat buku catatan.

9. Di kotak dialog lingkungan notebook yang terbuka, pilih gambar Data Science 3.0.

10. Pilih Pilih.

11. Instal fmeval paket di lingkungan pengembangan Anda, seperti yang ditunjukkan pada contoh kode berikut:

    !pip install fmeval

    catatan

    Instal fmeval perpustakaan ke lingkungan yang menggunakanPython 3.10. Untuk informasi selengkapnya tentang persyaratan yang diperlukan untuk menjalankanfmeval, lihat fmevaldependensi.

Tentukan JumpStart model dan konfigurasikan ModelRunner

1. Berikan titik akhir dengan melakukan salah satu hal berikut:

   • Tentukan EndpointNameke JumpStart titik akhir yang ada,model_id, danmodel_version.

   • Tentukan model_id dan model_version untuk model Anda, dan buat JumpStart titik akhir.

   Contoh kode berikut menunjukkan cara membuat endpoint untuk Llama 2 foundation modelyang tersedia melalui JumpStart.

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   Contoh kode sebelumnya mengacu pada EULA, yang merupakan singkatan dari end-use-license-agreement (EULA). EULA dapat ditemukan dalam deskripsi kartu model model yang Anda gunakan. Untuk menggunakan beberapa JumpStart model, Anda harus menentukanaccept_eula=true, seperti yang ditunjukkan pada panggilan sebelumnya kepredict. Untuk informasi selengkapnya tentang EULA, lihat bagian Lisensi dan sumber model di. Sumber model dan perjanjian lisensi

   Anda dapat menemukan daftar JumpStart model yang tersedia di Algoritma Bawaan dengan Tabel Model yang telah dilatih sebelumnya.

2. Konfigurasikan ModelRunner dengan menggunakanJumpStartModelRunner, seperti yang ditunjukkan pada contoh konfigurasi berikut:

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   Dalam contoh konfigurasi sebelumnya, gunakan nilai yang sama untukendpoint_name,model_id, dan model_version yang Anda gunakan untuk membuat titik akhir.

3. Uji AndaModelRunner. Kirim permintaan sampel ke model Anda seperti yang ditunjukkan dalam contoh kode berikut:

   js_model_runner.predict("What is the capital of London")

Tentukan model Amazon Bedrock dan konfigurasikan ModelRunner

1. Untuk menentukan dan mencetak detail model, gunakan contoh kode berikut untuk model Titan yang tersedia melalui Amazon Bedrock:

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   Dalam contoh kode sebelumnya, accept parameter menentukan format data yang ingin Anda gunakan untuk mengevaluasi LLM Anda. contentTypeMenentukan format data input dalam permintaan. Hanya MIME_TYPE_JSON didukung untuk accept dan contentType untuk model Amazon Bedrock. Untuk informasi selengkapnya tentang parameter ini, lihat InvokeModelWithResponseStream.

2. Untuk mengkonfigurasiModelRunner, gunakanBedrockModelRunner, seperti yang ditunjukkan dalam contoh konfigurasi berikut:

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   Parametrize ModelRunner konfigurasi sebagai berikut.

   • Gunakan nilai yang sama untuk model_id yang Anda gunakan untuk menyebarkan model.

   • Gunakan output untuk menentukan format json respons yang dihasilkan. Sebagai contoh, jika LLM Anda memberikan respons[{"results": "this is the output"}], maka output='results[0].outputText' kembalithis is the output.

   • Gunakan content_template untuk menentukan bagaimana LLM Anda berinteraksi dengan permintaan. Template konfigurasi berikut dirinci semata-mata untuk menjelaskan contoh konfigurasi sebelumnya, dan itu tidak diperlukan.

     • Dalam contoh konfigurasi sebelumnya, variabel inputText menentukan prompt, yang menangkap permintaan yang dibuat oleh pengguna.

     • Variabel textGenerationConfig menentukan bagaimana LLM menghasilkan tanggapan sebagai berikut:

       • Parameter maxTokenCount ini digunakan untuk membatasi panjang respons dengan membatasi jumlah token yang dikembalikan oleh LLM.

       • Parameter stopSequences ini digunakan untuk menentukan daftar urutan karakter yang memberi tahu LLM Anda untuk berhenti menghasilkan respons. Output model dihentikan saat pertama kali salah satu string yang terdaftar ditemui dalam output. Sebagai contoh, Anda dapat menggunakan urutan pengembalian carriage untuk membatasi respons model ke satu baris.

       • Parameter topP mengontrol keacakan dengan membatasi kumpulan token untuk dipertimbangkan saat membuat token berikutnya. Parameter ini menerima nilai antara 0.0 dan1.0. Nilai yang lebih tinggi dari topP memungkinkan untuk satu set yang berisi kosakata yang lebih luas dan nilai yang lebih rendah membatasi kumpulan token ke kata-kata yang lebih mungkin.

       • Parameter temperature mengontrol keacakan teks yang dihasilkan, dan menerima nilai positif. Nilai yang lebih tinggi dari temperature menginstruksikan model untuk menghasilkan respons yang lebih acak dan beragam. Nilai yang lebih rendah menghasilkan respons yang lebih dapat diprediksi. Rentang khas untuk temperature kebohongan antara 0.2 dan2.0.

       Untuk informasi selengkapnya tentang parameter untuk model pondasi Amazon Bedrock tertentu, lihat Parameter inferensi untuk model pondasi.

     Format parameter content_template tergantung pada input dan parameter yang didukung oleh LLM Anda. Misalnya, Anthropic’s Claude 2model dapat mendukung yang berikutcontent_template:

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     Sebagai contoh lain, model Falcon 7b dapat mendukung yang berikut ini. content_template

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     Terakhir, uji AndaModelRunner. Kirim permintaan sampel ke model Anda seperti yang ditunjukkan dalam contoh kode berikut:

     bedrock_model_runner.predict("What is the capital of London?")