Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menerapkan model kustom

Setelah pelatihan selesai, gunakan model Anda untuk inferensi. Anda dapat menerapkan model kustom menggunakan CLI atau SDK.

Temukan artefak model Anda

Terapkan menggunakan CLI

Jalankan perintah berikut untuk menerapkan model kustom Anda:

hyp create hyp-custom-endpoint \
    --version 1.0 \
    --env '{"HF_MODEL_ID":"/opt/ml/model", "SAGEMAKER_PROGRAM":"inference.py", }' \
    --model-source-type s3 \
    --model-location test-pytorch-job/model.tar.gz \
    --s3-bucket-name my-bucket \
    --s3-region us-east-2 \
    --prefetch-enabled true \ 
    --image-uri 763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-inference:latest \
    --model-volume-mount-name model-weights \
    --container-port 8080 \
    --resources-requests '{"cpu": "30000m", "nvidia.com/gpu": 1, "memory": "100Gi"}' \
    --resources-limits '{"nvidia.com/gpu": 1}' \
    --tls-output-s3-uri s3://tls-bucket-inf1-beta2 \
    --instance-type ml.g5.8xlarge \
    --endpoint-name endpoint-custom-pytorch \
    --model-name pytorch-custom-model \
    

Perintah ini menyebarkan model terlatih sebagai titik akhir bernama. endpoint-custom-pytorch --model-locationReferensi jalur artefak dari pekerjaan pelatihan.

Terapkan menggunakan Python SDK

Buat skrip Python dengan konten berikut:

from sagemaker.hyperpod.inference.config.hp_custom_endpoint_config import Model, Server, SageMakerEndpoint, TlsConfig, EnvironmentVariables
from sagemaker.hyperpod.inference.hp_custom_endpoint import HPCustomEndpoint

model = Model(
    model_source_type="s3",
    model_location="test-pytorch-job/model.tar.gz",
    s3_bucket_name="my-bucket",
    s3_region="us-east-2",
    prefetch_enabled=True
)

server = Server(
    instance_type="ml.g5.8xlarge",
    image_uri="763104351884.dkr.ecr.us-east-2.amazonaws.com/huggingface-pytorch-tgi-inference:2.4.0-tgi2.3.1-gpu-py311-cu124-ubuntu22.04-v2.0",
    container_port=8080,
    model_volume_mount_name="model-weights"
)

resources = {
    "requests": {"cpu": "30000m", "nvidia.com/gpu": 1, "memory": "100Gi"},
    "limits": {"nvidia.com/gpu": 1}
}

env = EnvironmentVariables(
    HF_MODEL_ID="/opt/ml/model",
    SAGEMAKER_PROGRAM="inference.py",
    SAGEMAKER_SUBMIT_DIRECTORY="/opt/ml/model/code",
    MODEL_CACHE_ROOT="/opt/ml/model",
    SAGEMAKER_ENV="1"
)

endpoint_name = SageMakerEndpoint(name="endpoint-custom-pytorch")

tls_config = TlsConfig(tls_certificate_output_s3_uri="s3://tls-bucket-inf1-beta2")

custom_endpoint = HPCustomEndpoint(
    model=model,
    server=server,
    resources=resources,
    environment=env,
    sage_maker_endpoint=endpoint_name,
    tls_config=tls_config,
)

custom_endpoint.create()

Memanggil titik akhir

Menggunakan CLI

Uji titik akhir dengan input sampel:

hyp invoke hyp-custom-endpoint \
    --endpoint-name endpoint-custom-pytorch \
    --body '{"inputs":"What is the capital of USA?"}'

Ini mengembalikan respons model, seperti “Ibukota AS adalah Washington, D.C.”

Menggunakan SDK

Tambahkan kode berikut ke skrip Python Anda:

data = '{"inputs":"What is the capital of USA?"}'
response = custom_endpoint.invoke(body=data).body.read()
print(response)

Kelola titik akhir

Menggunakan CLI

Daftar dan periksa titik akhir:

hyp list hyp-custom-endpoint
hyp get hyp-custom-endpoint --name endpoint-custom-pytorch

Menggunakan SDK

Tambahkan kode berikut ke skrip Python Anda:

logs = custom_endpoint.get_logs()
print(logs)

Pembersihan sumber daya

Setelah selesai, hapus titik akhir untuk menghindari biaya yang tidak perlu.

Menggunakan CLI

hyp delete hyp-custom-endpoint --name endpoint-custom-pytorch

Menggunakan SDK

custom_endpoint.delete()

Langkah selanjutnya

Anda telah berhasil menerapkan dan menguji model kustom menggunakan SageMaker HyperPod. Anda sekarang dapat menggunakan endpoint ini untuk inferensi dalam aplikasi Anda.