Evaluasi dengan Inspect AI Container

Wad SageMaker ah Inspect AI menjalankan evaluasi model LLM pada Pekerjaan SageMaker Pelatihan. Wadah menggunakan Insp ect AI untuk menyediakan proses evaluasi standar untuk model yang digunakan ke titik akhir SageMaker inferensi atau Amazon Bedrock — termasuk model Amazon Nova 1.0 (Micro, Lite, Pro) dan 2.0 (Lite 2).

Pen dekatan evaluasi sebelumnya (berdasarkan lighteval) menggabungkan inferensi offline dan logika evaluasi secara erat, yang membatasi fleksibilitas dalam bagaimana model dapat disajikan dan diuji. Wadah Inspect AI memisahkan logika evaluasi dari inferensi sepenuhnya.

Gambaran umum

Manfaat utama meliputi:

Cara kerjanya

Anda memberikan dua input ke wadah:

Wadah menangani manajemen titik akhir, eksekusi evaluasi, dan pengumpulan hasil. Ketika pekerjaan pelatihan selesai, hasilnya ditulis ke lokasi keluaran S3 yang Anda tentukan.

Gambar kontainer

Tabel berikut mencantumkan URI gambar kontainer Inspect AI by AWS Region.

Prasyarat

Sebelum Anda mulai, pastikan Anda memiliki sumber daya dan akses berikut.

Langkah 1: Siapkan izin IAM

Pekerjaan SageMaker Pelatihan berjalan di bawah peran eksekusi yang Anda berikan. Peran ini memerlukan izin untuk membaca tolok ukur dari S3, menulis hasil, memanggil titik akhir inferensi, dan menulis CloudWatch log.

1.1 Buat kebijakan kepercayaan

Simpan yang berikut ini sebagaitrust_policy.json:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "sagemaker.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

1.2 Buat peran

aws iam create-role \
  --role-name InspectLensEvalRole \
  --assume-role-policy-document file://trust_policy.json

1.3 Lampirkan kebijakan izin

Simpan yang berikut ini sebagaieval_policy.json, ganti semua nilai placeholder (REGION,ACCOUNT_ID, nama bucket) dengan nilai Anda:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "S3ReadBenchmarkData",
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:ListBucket"],
      "Resource": [
        "arn:aws:s3:::YOUR_BENCHMARK_BUCKET",
        "arn:aws:s3:::YOUR_BENCHMARK_BUCKET/*"
      ]
    },
    {
      "Sid": "S3WriteResults",
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:PutObject", "s3:ListBucket"],
      "Resource": [
        "arn:aws:s3:::YOUR_RESULTS_BUCKET",
        "arn:aws:s3:::YOUR_RESULTS_BUCKET/*"
      ]
    },
    {
      "Sid": "SageMakerInvokeExistingEndpoint",
      "Effect": "Allow",
      "Action": [
        "sagemaker:InvokeEndpoint",
        "sagemaker:InvokeEndpointWithResponseStream",
        "sagemaker:DescribeEndpoint"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint/*"
    },
    {
      "Sid": "BedrockInference",
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:InvokeModelWithResponseStream"
      ],
      "Resource": [
        "arn:aws:bedrock:REGION::foundation-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:inference-profile/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:provisioned-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:imported-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model-deployment/*"
      ]
    },
    {
      "Sid": "BedrockCustomModelAccess",
      "Effect": "Allow",
      "Action": [
        "bedrock:GetCustomModel",
        "bedrock:GetImportedModel",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:GetCustomModelDeployment",
        "bedrock:GetInferenceProfile"
      ],
      "Resource": [
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:imported-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:provisioned-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model-deployment/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:inference-profile/*"
      ]
    },
    {
      "Sid": "SageMakerCreateEndpointLifecycle",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateModel",
        "sagemaker:DescribeModel",
        "sagemaker:DeleteModel",
        "sagemaker:CreateEndpointConfig",
        "sagemaker:DescribeEndpointConfig",
        "sagemaker:DeleteEndpointConfig",
        "sagemaker:CreateEndpoint",
        "sagemaker:DescribeEndpoint",
        "sagemaker:DeleteEndpoint",
        "sagemaker:InvokeEndpoint",
        "sagemaker:InvokeEndpointWithResponseStream"
      ],
      "Resource": [
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:model/*",
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint/*",
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint-config/*"
      ]
    },
    {
      "Sid": "ECRAuth",
      "Effect": "Allow",
      "Action": "ecr:GetAuthorizationToken",
      "Resource": "*"
    },
    {
      "Sid": "PassRoleToSageMaker",
      "Effect": "Allow",
      "Action": "iam:PassRole",
      "Resource": "arn:aws:iam::ACCOUNT_ID:role/InspectLensEvalRole",
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "sagemaker.amazonaws.com"
        }
      }
    },
    {
      "Sid": "VPCNetworkingForEndpoint",
      "Effect": "Allow",
      "Action": [
        "ec2:CreateNetworkInterface",
        "ec2:CreateNetworkInterfacePermission",
        "ec2:DeleteNetworkInterface",
        "ec2:DeleteNetworkInterfacePermission",
        "ec2:DescribeNetworkInterfaces",
        "ec2:DescribeVpcs",
        "ec2:DescribeDhcpOptions",
        "ec2:DescribeSubnets",
        "ec2:DescribeSecurityGroups"
      ],
      "Resource": "*"
    },
    {
      "Sid": "CloudWatchLogs",
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents",
        "logs:DescribeLogStreams"
      ],
      "Resource": [
        "arn:aws:logs:REGION:ACCOUNT_ID:log-group:/aws/sagemaker/TrainingJobs:*",
        "arn:aws:logs:REGION:ACCOUNT_ID:log-group:/aws/sagemaker/Endpoints/*"
      ]
    },
    {
      "Sid": "MLflowTrackingServer",
      "Effect": "Allow",
      "Action": [
        "sagemaker:DescribeMlflowTrackingServer",
        "sagemaker:CreatePresignedMlflowTrackingServerUrl"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:mlflow-tracking-server/*"
    },
    {
      "Sid": "MLflowTrackingOperations",
      "Effect": "Allow",
      "Action": [
        "sagemaker-mlflow:AccessUI",
        "sagemaker-mlflow:CreateExperiment",
        "sagemaker-mlflow:GetExperiment",
        "sagemaker-mlflow:GetExperimentByName",
        "sagemaker-mlflow:SearchExperiments",
        "sagemaker-mlflow:CreateRun",
        "sagemaker-mlflow:GetRun",
        "sagemaker-mlflow:UpdateRun",
        "sagemaker-mlflow:SearchRuns",
        "sagemaker-mlflow:LogMetric",
        "sagemaker-mlflow:LogParam",
        "sagemaker-mlflow:LogBatch",
        "sagemaker-mlflow:SetTag",
        "sagemaker-mlflow:LogArtifact",
        "sagemaker-mlflow:ListArtifacts"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:mlflow-tracking-server/*"
    },
    {
      "Sid": "KMSForVolumeEncryption",
      "Effect": "Allow",
      "Action": [
        "kms:Encrypt",
        "kms:Decrypt",
        "kms:GenerateDataKey",
        "kms:CreateGrant",
        "kms:DescribeKey"
      ],
      "Resource": "arn:aws:kms:REGION:ACCOUNT_ID:key/*"
    }
  ]
}

Lampirkan kebijakan ke peran:

aws iam put-role-policy \
  --role-name InspectLensEvalRole \
  --policy-name InspectLensEvalPolicy \
  --policy-document file://eval_policy.json

Langkah 2: Tulis resep eval Anda

Resep eval adalah file konfigurasi YAML yang menentukan bagaimana wadah menjalankan evaluasi Anda. Resep menentukan penyedia inferensi, tolok ukur, parameter evaluasi, dan pengaturan output.

Untuk contoh ujung ke ujung, lihat buku catatan berikut di repositori Amazon Nova Samples di GitHub:

Opsi A: Mengevaluasi titik akhir yang SageMaker ada

Gunakan opsi ini jika Anda memiliki model yang sudah diterapkan pada titik akhir SageMaker inferensi.

inference_provider:
  sagemaker_endpoint:
    endpoint_name: "my-existing-endpoint"
    region: "us-east-1"

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu

eval:
  max_connections: 10
  max_retries: 100
  timeout: 600

output:
  s3_path: "s3://your-bucket/eval-results/"

Opsi B: Buat titik akhir, evaluasi, lalu bersihkan

Gunakan opsi ini agar wadah menerapkan basis Amazon Nova atau model yang disetel dengan baik, menjalankan evaluasi, dan meruntuhkan titik akhir secara otomatis. Ini adalah pendekatan yang direkomendasikan untuk evaluasi satu kali. Ambil wadah SageMaker inferensi terbaru dari dokumentasi gambar wadah Amazon Nova SageMaker Inference.

inference_provider:
  sagemaker_endpoint:
    endpoint_name: null                 # null = create new endpoint
    model_s3_uri: "s3://your-bucket/models/nova-micro/"
    inference_image_uri: "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest"
    instance_type: "ml.p5.48xlarge"
    instance_count: 1
    execution_role_arn: "arn:aws:iam::ACCOUNT_ID:role/InspectLensEvalRole"
    region: "us-east-1"
    context_length: "16000"
    max_concurrency: "32"
    cleanup_endpoint: true              # Auto-delete after eval

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu_pro
    - name: arc_c
    - name: boolq

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 16000
    reasoning_effort: null
  max_connections: 16
  max_retries: 100
  timeout: 600
  extra_args:
    - "-M"
    - "completion_mode=True"
    - "--logprobs"
    - "--top-logprobs"
    - "5"

output:
  s3_path: "s3://your-bucket/eval-results/"

{
  "Sid": "SageMakerTagManagedResources",
  "Effect": "Allow",
  "Action": "sagemaker:AddTags",
  "Resource": [
    "arn:aws:sagemaker:REGION:ACCOUNT_ID:model/*",
    "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint/*",
    "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint-config/*"
  ]
}

Opsi C: Evaluasi melalui Amazon Bedrock Runtime

Gunakan opsi ini untuk mengevaluasi model yang tersedia melalui Amazon Bedrock Runtime tanpa mengelola titik akhir. Untuk informasi selengkapnya tentang opsi titik akhir Amazon Bedrock, lihat titik akhir Amazon Bedrock.

inference_provider:
  bedrock:
    model_id: amazon.nova-pro-v1:0
    region: us-east-1

benchmarks:
  - name: mmlu
    path: benchmarks/mmlu_pro.py
    limit: 100

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 8192
    reasoning_effort: null
  max_connections: 10
  max_retries: 50
  timeout: 600
  extra_args:
    - "--display"
    - "plain"

output:
  s3_path: s3://your-bucket/eval/output/

Opsi D: Evaluasi melalui Amazon Bedrock Mantle

Amazon Bedrock Mantle menyediakan titik akhir inferensi yang OpenAI kompatibel untuk model yang tersedia melalui Amazon Bedrock. Opsi ini tidak memerlukan kredensi tersimpan. Wadah menghasilkan token pembawa berumur pendek dari kredentif IAM peran eksekusi Anda dan secara otomatis menyegarkannya di antara tolok ukur.

inference_provider:
  openai_compatible_endpoint:
    auth: "bedrock_mantle"
    region: "us-east-1"
    model_name: "us.amazon.nova-pro-v1:0"

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu

eval:
  max_connections: 10
  max_retries: 50
  timeout: 600

output:
  s3_path: s3://your-bucket/eval/output/

Tambahkan izin berikut ke peran eksekusi Anda (lihatLangkah 1: Siapkan izin IAM):

{
  "Sid": "BedrockMantleInference",
  "Effect": "Allow",
  "Action": [
    "bedrock-mantle:CreateInference",
    "bedrock-mantle:CallWithBearerToken"
  ],
  "Resource": "*"
}

Untuk panduan izin, lihat izin inferensi Amazon Bedrock dan kontrol izin kunci API di dokumentasi Amazon Bedrock.

Opsi E: Evaluasi sebuah OpenAI-titik akhir yang kompatibel

Gunakan opsi ini untuk mengevaluasi melalui titik akhir API OpenAI yang kompatibel — termasuk SageMaker Inferensi (AWS blog) atau penyedia lain yang kompatibelOpenAI. Opsi ini menggunakan penyedia API yang OpenAI kompatibel dengan Inspect AI di situs web Inspect AI, yang mengirimkan kredensi yang dikonfigurasi sebagai token pembawa di Authorization header dengan setiap permintaan inferensi. Token pembawa tidak dicatat secara default.

Penggunaan AWS Manajer Rahasia (disarankan)

AWS Secrets Manager menyediakan penyimpanan terenkripsi, audit akses melalui CloudTrail, dan rotasi otomatis untuk kunci API dan rahasia lainnya. Simpan kunci API di Secrets Manager dan referensikan oleh ARN dalam resep. Wadah mengambil kunci saat runtime dan menyegarkan secara otomatis di antara tolok ukur.

inference_provider:
  openai_compatible_endpoint:
    model_name: "my-model"
    base_url: "https://my-endpoint/v1"
    auth: api_key
    api_key_secret_arn: "arn:aws:secretsmanager:us-east-1:123456789012:secret:prod/my-api-key"
    region: "us-east-1"

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu

eval:
  max_connections: 10
  max_retries: 50
  timeout: 600

output:
  s3_path: s3://your-bucket/eval/output/

Tambahkan izin berikut ke peran eksekusi Anda (lihatLangkah 1: Siapkan izin IAM):

{
  "Sid": "GetApiKeySecret",
  "Effect": "Allow",
  "Action": "secretsmanager:GetSecretValue",
  "Resource": "arn:aws:secretsmanager:REGION:ACCOUNT_ID:secret:YOUR_SECRET_NAME"
}

Menggunakan variabel lingkungan

Kunci API dapat dilewatkan melalui variabel lingkunganINFERENCE_API_KEY. Periksa dengan dokumentasi lingkungan runtime Anda untuk mengetahui bagaimana variabel lingkungan diteruskan dan implikasi keamanannya. Untuk SageMaker Pekerjaan Pelatihan, variabel lingkungan terlihat dalam respons DescribeTrainingJob API dan dibatasi hingga 512 karakter. Untuk informasi selengkapnya, lihat Vari SageMaker abel lingkungan Pekerjaan Pelatihan.

inference_provider:
  openai_compatible_endpoint:
    model_name: "my-model"
    base_url: "https://my-endpoint/v1"
    auth: api_key
    # No key source specified — reads from INFERENCE_API_KEY environment variable

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu

eval:
  max_connections: 10
  max_retries: 50
  timeout: 600

output:
  s3_path: s3://your-bucket/eval/output/

Misalnya, pada Pekerjaan SageMaker Pelatihan:

aws sagemaker create-training-job \
    ...
    --environment '{"INFERENCE_API_KEY": "your-api-key"}'

Konfigurasi tolok ukur

benchmarksBagian ini mendefinisikan tugas evaluasi mana yang akan dijalankan. Anda dapat merangkai beberapa tolok ukur dalam satu pekerjaan.

Konfigurasi Eval

evalBagian ini mengontrol bagaimana wadah mengeksekusi evaluasi.

Parameter decoding

Konfigurasikan parameter decoding model dalam eval.decoding bagian:

Konfigurasi keluaran

outputBagian ini mendefinisikan di mana dan bagaimana hasil evaluasi disimpan.

Format output berikut tersedia:

Konfigurasi MLFlow

Secara opsional, Anda dapat mencatat metrik evaluasi ke server pelacakan MLFlow. Tambahkan tracking bagian ke resep Anda:

tracking:
  mlflow_tracking_arn: null       # ARN of SageMaker MLflow tracking server
  mlflow_experiment_name: "inspectlens" # experiment name
  mlflow_tracing: true          # log full request/response traces
  mlflow_log_artifacts: true       # upload .eval files to MLflow

Referensi resep lengkap

Contoh berikut menunjukkan resep lengkap dengan semua opsi konfigurasi yang tersedia:

inference_provider:
  sagemaker_endpoint:
    endpoint_name: my-nova-endpoint
    model_s3_uri: s3://your-bucket/models/my-model/
    inference_image_uri: "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest"
    instance_type: ml.g5.12xlarge
    cleanup_endpoint: true
    region: us-west-2

benchmarks:
  - name: mmlu
    path: benchmarks/mmlu_pro.py
    limit: 100
    epochs: 3
    task_args:
      subject: math
  - name: truthfulqa
    path: benchmarks/truthfulqa.py
    limit: 50

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 8192
    reasoning_effort: null
  max_connections: 256
  max_retries: 50
  timeout: 600
  extra_args:
    - "--display"
    - "plain"

output:
  s3_path: s3://your-bucket/eval/output/
  output_format: eval

tracking:
  mlflow_tracking_arn: "arn:aws:sagemaker:us-west-2:123456789012:mlflow-tracking-server/my-server"
  mlflow_experiment_name: "inspectlens"
  mlflow_tracing: true
  mlflow_log_artifacts: true

Langkah 3: Siapkan file benchmark

Tolok ukur adalah file Python yang menggunakan @task dekorator Inspect AI untuk menentukan tugas evaluasi. Repositori inspect-evals menyediakan 128+ tolok ukur siap pakai, atau Anda dapat menulis sendiri.

Contoh tolok ukur

Contoh berikut menunjukkan benchmark minimal yang mengevaluasi kinerja pilihan ganda pada dataset: HuggingFace

from inspect_ai import task, Task
from inspect_ai.dataset import hf_dataset
from inspect_ai.scorer import choice
from inspect_ai.solver import multiple_choice


@task
def my_benchmark():
    return Task(
        dataset=hf_dataset(
            path="cais/mmlu",
            name="abstract_algebra",
            split="test",
        ),
        solver=multiple_choice(),
        scorer=choice(),
    )

Ketergantungan

Jika tolok ukur Anda membutuhkan dependensi tambahan, sertakan pyproject.toml atau requirements.txt di direktori S3 yang sama:

[project]
name = "my-benchmark"
version = "0.1.0"
requires-python = ">=3.12"
dependencies = [
    "datasets>=2.14.0",
]

Pre-installed paket

Wadah termasuk paket berikut. Anda tidak perlu mencantumkan ini di dalam daftar Andapyproject.toml.

Pemilihan tugas

Bid tasks ang di resep Anda mengontrol tugas mana dalam file benchmark yang akan dijalankan.

Langkah 4: Siapkan struktur S3 Anda

Struktur berikut adalah rekomendasi untuk menjaga konfigurasi, tolok ukur, dan hasil tetap teratur. Anda dapat mengarahkan wadah ke lokasi S3 mana pun — struktur itu sendiri tidak diperlukan.

s3://your-bucket/
├── config/
│   └── inspect_config.yaml       # Your eval recipe
├── benchmarks/
│   └── my_benchmarks/            # Your benchmark Python files
│       ├── pyproject.toml        # Optional: benchmark dependencies
│       ├── my_task.py            # @task decorated functions
│       └── _helpers.py           # Shared utilities
└── output/                       # Results written here

Unggah file Anda ke S3:

# Upload benchmark files
aws s3 cp my_benchmarks/ s3://your-bucket/benchmarks/my_benchmarks/ --recursive

# Upload your eval recipe
aws s3 cp inspect_config.yaml s3://your-bucket/config/inspect_config.yaml

Langkah 5: Kirim pekerjaan pelatihan

Kirim SageMaker Pekerjaan Pelatihan untuk menjalankan evaluasi Anda. Anda dapat menggunakan AWS CLI atau SageMaker Python SDK.

Opsi A: AWS CLI

aws sagemaker create-training-job \
    --training-job-name inspect-eval-$(date +%Y%m%d-%H%M%S) \
    --algorithm-specification \
        TrainingImage=763104351884.dkr.ecr.us-east-1.amazonaws.com/sagemaker-inspect-ai:latest,TrainingInputMode=File \
    --role-arn arn:aws:iam::123456789012:role/SageMakerInspectAIRole \
    --resource-config \
        InstanceType=ml.m5.large,InstanceCount=1,VolumeSizeInGB=30 \
    --stopping-condition MaxRuntimeInSeconds=86400 \
    --input-data-config '[
        {
            "ChannelName": "config",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://your-bucket/eval/config/",
                    "S3DataDistributionType": "FullyReplicated"
                }
            }
        }
    ]' \
    --output-data-config S3OutputPath=s3://your-bucket/eval/output/ \
    --region us-west-2

Opsi B: SageMaker Python SDK v3

from sagemaker.train.evaluate import InspectAIEvaluator

evaluator = InspectAIEvaluator(
    model="nova-textgeneration-lite-v2",
    bedrock_model_id="us.amazon.nova-lite-v2:0",
    benchmarks_path="s3://your-bucket/benchmarks/my_benchmarks/",
    tasks=[{"name": "my_task", "limit": 100}],
    s3_output_path="s3://your-bucket/eval/output/",
    instance_type="ml.m5.large",
)

execution = evaluator.evaluate()
execution.wait()
execution.show_results()

Parameter kunci

Panduan jenis instance orkestrator

Contoh pekerjaan pelatihan menjalankan logika orkestrasi evaluasi, bukan inferensi model. Pilih jenis instans berdasarkan beban kerja evaluasi Anda.

Variabel lingkungan

Anda dapat meneruskan variabel lingkungan ke wadah untuk otentikasi atau konfigurasi. Tambahkan --environment parameter ke AWS CLI perintah:

aws sagemaker create-training-job \
    ...
    --environment '{
        "HF_TOKEN": "hf_your_token_here",
        "HF_HUB_DOWNLOAD_TIMEOUT": "300"
    }'

Langkah 6: Pantau pekerjaan

Setelah Anda mengirimkan pekerjaan pelatihan, Anda dapat memantau kemajuannya melalui AWS CLI atau CloudWatch Log.

Periksa status pekerjaan

aws sagemaker describe-training-job \
    --training-job-name your-job-name \
    --query "TrainingJobStatus" \
    --output text

Streaming log

aws logs tail /aws/sagemaker/TrainingJobs \
    --log-stream-name-prefix your-job-name \
    --follow

Apa yang diharapkan di log

Log kontainer menunjukkan kemajuan melalui tahapan berikut:

Perkiraan jadwal

Langkah 7: Melihat dan menafsirkan hasil

Setelah pekerjaan selesai, lihat hasil evaluasi Anda.

Lihat dengan Inspect AI

Gunakan penampil Inspect AI untuk menjelajahi hasil secara interaktif langsung dari S3:

inspect view --log-dir s3://your-bucket/eval-results/

Perintah ini membuka antarmuka web lokal tempat Anda dapat menelusuri skor, melihat sampel individual, dan membandingkan proses.

Unduh dan bagikan

Untuk mengunduh hasil secara lokal:

aws s3 cp s3://your-bucket/eval/output/ ./results/ --recursive

INSPECT_LOG_DIR=./results inspect view

Ekstensi VS Code

Ekstensi Insp ect AI VS Code memungkinkan Anda menelusuri log eval langsung dari S3 tanpa mengunduhnya terlebih dahulu.

Struktur keluaran

Setiap evaluasi menghasilkan file .eval log yang berisi bagian-bagian berikut:

Lihat hasil di MLFlow (opsional)

Jika Anda mengonfigurasi MLFlow dalam resep Anda, buat URL yang telah ditandatangani sebelumnya untuk mengakses server pelacakan:

aws sagemaker create-presigned-mlflow-tracking-server-url \
    --tracking-server-name my-server \
    --region us-west-2

Buka URL yang dikembalikan di browser Anda untuk melihat metrik, membandingkan proses, dan menganalisis tren di seluruh evaluasi.

Tolok ukur yang tersedia

Wadah Inspect AI berfungsi dengan tolok ukur apa pun yang ditulis dalam format tugas Inspect AI. Repositori inspect-evals menyediakan 128+ tolok ukur siap pakai yang mencakup bidang-bidang seperti penalaran, pengetahuan, pengkodean, dan keamanan.

Untuk menulis tolok ukur Anda sendiri, lihat dokumentasi penulisan tugas Insp ect AI. Jika Anda menemukan tolok ukur publik yang belum tersedia di inspect-evals, Anda dapat menggunakan prompt orientasi asisten AI untuk membantu mengonversinya ke format Inspect AI.

Evaluasi agen

Tolok ukur agentic menguji kemampuan model untuk menyelesaikan tugas multi-langkah yang memerlukan penggunaan alat, perencanaan, dan penalaran berulang. Evaluasi ini mensimulasikan skenario dunia nyata di mana model harus memanggil alat, menafsirkan hasil, dan memutuskan tindakan selanjutnya.

Persyaratan titik akhir

Evaluasi agen memerlukan titik akhir yang mendukung kemampuan berikut:

SageMaker Konfigurasi titik akhir inferensi

Saat menggunakan titik akhir SageMaker inferensi untuk evaluasi agen, konfigurasikan variabel lingkungan berikut pada titik akhir Anda:

Untuk informasi tentang menyiapkan titik akhir Amazon Nova pada SageMaker Inferensi, lihat Menye barkan model Amazon Nova pada. SageMaker Untuk informasi tentang fitur dan konfigurasi wadah, lihat Fitur kontainer.

Titik akhir Amazon Bedrock

Untuk titik akhir Amazon Bedrock, pemanggilan alat didukung secara native untuk model yang kompatibel. Untuk informasi selengkapnya, lihat Penggunaan alat dengan Amazon Bedrock.

Memulai evaluasi agen

Untuk menjalankan evaluasi agen, lengkapi prasyarat berikut:

Titik akhir Amazon Bedrock

Contoh notebook

Notebook berikut menunjukkan menjalankan tolok ukur agen pemanggilan alat dengan wadah Inspect AI:

Untuk tolok ukur agen yang memerlukan kotak pasir Docker, gunakan Inspect AI SDK:

Pemecahan masalah

Bagian ini memberikan solusi untuk masalah umum saat menjalankan evaluasi dengan wadah Inspect AI.

Tip iterasi cepat

Sebelum mengirimkan Pekerjaan Pel SageMaker atihan, uji tolok ukur Anda secara lokal dengan Inspect AI SDK. Jalan inspect eval my_benchmark.py kan pada mesin lokal Anda untuk memvalidasi definisi tugas, dependensi, dan logika penilaian sebelum berjalan dalam skala besar.

InsufficientInstanceCapacity kesalahan

Kesalahan ini terjadi ketika AWS tidak memiliki kapasitas yang cukup untuk jenis instans yang diminta di Wilayah Anda.

AccessDenied kesalahan

Jika pekerjaan pelatihan gagal dengan kesalahan akses ditolak, verifikasi hal berikut:

Pembuatan titik akhir gagal

Saat menggunakan cleanup_endpoint: true dengan pembuatan titik akhir otomatis, masalah berikut mungkin terjadi:

Membersihkan sumber daya terkelola secara manual

Dengan titik akhir terkelola diaktifkan, informasi sumber daya terkelola CloudWatch dicatat dengan istilah INFRA filter. Log menyertakan AWS CLI perintah untuk pembersihan manual jika wadah tidak dapat menyelesaikan pembongkaran. Hanya jalankan langkah-langkah penghentian manual setelah pekerjaan tidak lagi dalam keadaan berjalan.

Contoh keluaran log:

[WARNING] [INFRA] Managed SMI resources created; auto-deleted on normal completion or stop.
If this job is force-killed or stopped mid-creation, delete them manually:
  aws sagemaker delete-endpoint --endpoint-name inspectlens-ep-1787856688 --region us-east-1
  aws sagemaker delete-endpoint-config --endpoint-config-name inspectlens-config-1787856688 --region us-east-1
  aws sagemaker delete-model --model-name inspectlens-model-1787856688 --region us-east-1

Setelah penghentian pekerjaan secara manual melalui stop-training-job, wadah melakukan pembersihan sumber daya terkelola dengan upaya terbaik dalam masa tenggang 120 detik. Jika sumber daya tidak dapat dibersihkan, pekerjaan berakhir dengan status kesalahan. Jika pembersihan selesai dengan sukses, pekerjaan berakhir dalam keadaan berhenti.

HuggingFace batas waktu unduhan

Jika tolok ukur yang mengunduh kumpulan data dari HuggingFace Hub habis waktu, setel variabel HF_HUB_DOWNLOAD_TIMEOUT lingkungan ke nilai yang lebih tinggi (dalam detik):

--environment '{"HF_HUB_DOWNLOAD_TIMEOUT": "600"}'

Konflik ketergantungan tolok ukur

Jika benchmark gagal karena konflik ketergantungan dengan paket pra-instal, buat sebuah pyproject.toml di direktori benchmark dengan batasan versi eksplisit. Wadah menginstal dependensi benchmark secara terpisah untuk meminimalkan konflik.

Skor Eval terlihat salah

Jika skor evaluasi tidak terduga rendah atau tidak konsisten, periksa pengaturan berikut dalam resep Anda:

Privasi data

Data evaluasi Anda ditangani secara berbeda tergantung pada penyedia inferensi yang Anda gunakan.

SageMaker titik akhir

Saat Anda menggunakan titik akhir SageMaker Inferensi, semua data tetap berada di dalam titik akhir Anda Akun AWS. Permintaan evaluasi dan respons model tidak dikirim ke luar akun Anda dan tidak digunakan untuk meningkatkan AWS layanan. Tidak diperlukan kebijakan opt-out.

Amazon Bedrock

Saat Anda menggunakan Amazon Bedrock sebagai penyedia inferensi, data Anda tunduk pada Kebijakan Layanan AWS Opt-Out AI. Untuk mencegah data Anda digunakan untuk meningkatkan layanan AWS AI, aktifkan kebijakan opt-out di tingkat AWS Organisasi. Untuk informasi selengkapnya, lihat Kebijakan opt-out layanan AI.