Buat pekerjaan AutoML untuk menyempurnakan model pembuatan teks menggunakan API

Model bahasa besar (LLM) unggul dalam beberapa tugas generatif, termasuk pembuatan teks, ringkasan, penyelesaian, jawaban pertanyaan, dan banyak lagi. Kinerja mereka dapat dikaitkan dengan ukuran mereka yang signifikan dan pelatihan ekstensif tentang beragam kumpulan data dan berbagai tugas. Namun, domain tertentu, seperti layanan kesehatan dan keuangan, mungkin memerlukan penyesuaian khusus untuk beradaptasi dengan data unik dan kasus penggunaan. Dengan menyesuaikan pelatihan mereka dengan domain khusus mereka, LLM dapat meningkatkan kinerja mereka dan memberikan output yang lebih akurat untuk aplikasi yang ditargetkan.

Autopilot menawarkan kemampuan untuk menyempurnakan pilihan model teks generatif yang telah dilatih sebelumnya. Secara khusus, Autopilot mendukung penyetelan halus berbasis instruksi dari pilihan model bahasa besar (LLM) tujuan umum yang didukung oleh. JumpStart

Fine-tuning model pra-terlatih membutuhkan kumpulan data spesifik dari instruksi yang jelas yang memandu model tentang cara menghasilkan output atau berperilaku untuk tugas itu. Model belajar dari dataset, menyesuaikan parameternya agar sesuai dengan instruksi yang diberikan. Instruction-based penyempurnaan melibatkan penggunaan contoh berlabel yang diformat sebagai pasangan prompt-response dan diungkapkan sebagai instruksi. Untuk informasi selengkapnya tentang penyempurnaan, lihat model Fine-tune pondasi.

Panduan berikut menguraikan proses pembuatan pekerjaan Amazon SageMaker Autopilot sebagai percobaan percontohan untuk menyempurnakan LLM pembuatan teks menggunakan Referensi API. SageMaker https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html

Untuk membuat eksperimen Autopilot secara terprogram untuk menyempurnakan LLM, Anda dapat memanggil CreateAutoMLJobV2 API dalam bahasa apa pun yang didukung oleh Amazon Autopilot atau. SageMaker AWS CLI

Untuk informasi tentang bagaimana tindakan API ini diterjemahkan ke dalam fungsi dalam bahasa pilihan Anda, lihat bagian Lihat Juga CreateAutoMLJobV2 dan pilih SDK. Sebagai contoh, untuk pengguna Python, lihat sintaks permintaan lengkap create_auto_ml_job_v2 di AWS SDK untuk Python (Boto3).

Setelah LLM Anda disesuaikan, Anda dapat mengevaluasi kinerjanya dengan mengakses berbagai ROUGE skor melalui BestCandidate saat melakukan panggilan DescribeAutoMLJobV2 API. Model ini juga memberikan informasi tentang kehilangan pelatihan dan validasi serta kebingungan. Untuk daftar lengkap metrik untuk mengevaluasi kualitas teks yang dihasilkan oleh model yang disetel dengan baik, lihatMetrik untuk menyempurnakan model bahasa besar di Autopilot.

Prasyarat

Sebelum menggunakan Autopilot untuk membuat eksperimen penyempurnaan di SageMaker AI, pastikan untuk mengambil langkah-langkah berikut:

Setelah ini selesai, Anda dapat menggunakan ARN dari peran eksekusi ini dalam permintaan API Autopilot.

Parameter yang diperlukan

Saat memanggil CreateAutoMLJobV2 untuk membuat eksperimen Autopilot untuk penyetelan LLM, Anda harus memberikan nilai berikut:

Berikut ini adalah contoh format permintaan lengkap yang digunakan saat membuat panggilan API CreateAutoMLJobV2 untuk menyempurnakan model (Falcon7BInstruct).

{
   "AutoMLJobName": "<job_name>",
   "AutoMLJobInputDataConfig": [ 
      { 
         "ChannelType": "training",
         "CompressionType": "None",
         "ContentType": "text/csv", 
         "DataSource": { 
            "S3DataSource": { 
               "S3DataType": "S3Prefix",
               "S3Uri": "s3://<bucket_name>/<input_data>.csv"
            }
         }
      }
   ],
  "OutputDataConfig": {
      "S3OutputPath": "s3://<bucket_name>/output",
      "KmsKeyId": "arn:aws:kms:<region>:<account_id>:key/<key_value>"
   },
   "RoleArn":"arn:aws:iam::<account_id>:role/<sagemaker_execution_role_name>",
   "AutoMLProblemTypeConfig": {
        "TextGenerationJobConfig": {
            "BaseModelName": "Falcon7BInstruct"
       }
   }
}

Semua parameter lainnya adalah opsional.

Parameter opsional

Bagian berikut memberikan rincian beberapa parameter opsional yang dapat Anda berikan ke pekerjaan AutoML yang menyempurnakan.

"AutoMLProblemTypeConfig": {
  "TextGenerationJobConfig": {
    "BaseModelName": "Falcon7B",
    "TextGenerationHyperParameters": {"epochCount":"5", "learningRate":"0.000001", "batchSize": "32", "learningRateWarmupSteps": "10"}
  }
}