Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyebarkan model JumpStart

Anda dapat menerapkan JumpStart model pra-terlatih untuk inferensi menggunakan CLI atau SDK.

Menggunakan CLI

Jalankan perintah berikut untuk menyebarkan JumpStart model:

hyp create hyp-jumpstart-endpoint \
    --version 1.0 \
    --model-id deepseek-llm-r1-distill-qwen-1-5b \
    --model-version 2.0.4 \
    --instance-type ml.g5.8xlarge \
    --endpoint-name endpoint-jumpstart \
    --tls-output-s3-uri s3://tls-bucket-inf1-beta2

Menggunakan SDK

Buat skrip Python dengan konten berikut:

from sagemaker.hyperpod.inference.config.hp_jumpstart_endpoint_config import Model, Server, SageMakerEndpoint, TlsConfig
from sagemaker.hyperpod.inference.hp_jumpstart_endpoint import HPJumpStartEndpoint

model = Model(
    model_id="deepseek-llm-r1-distill-qwen-1-5b",
    model_version="2.0.4"
)

server = Server(
    instance_type="ml.g5.8xlarge"
)

endpoint_name = SageMakerEndpoint(name="endpoint-jumpstart")

tls_config = TlsConfig(tls_certificate_output_s3_uri="s3://tls-bucket-inf1-beta2")

js_endpoint = HPJumpStartEndpoint(
    model=model,
    server=server,
    sage_maker_endpoint=endpoint_name,
    tls_config=tls_config
)

js_endpoint.create()

Memanggil titik akhir

Menggunakan CLI

Uji titik akhir dengan input sampel:

hyp invoke hyp-jumpstart-endpoint \
    --endpoint-name endpoint-jumpstart \
    --body '{"inputs":"What is the capital of USA?"}'

Menggunakan SDK

Tambahkan kode berikut ke skrip Python Anda:

data = '{"inputs":"What is the capital of USA?"}'
response = js_endpoint.invoke(body=data).body.read()
print(response)

Kelola titik akhir

Menggunakan CLI

Daftar dan periksa titik akhir:

hyp list hyp-jumpstart-endpoint
hyp get hyp-jumpstart-endpoint --name endpoint-jumpstart

Menggunakan SDK

Tambahkan kode berikut ke skrip Python Anda:

endpoint_iterator = HPJumpStartEndpoint.list()
for endpoint in endpoint_iterator:
    print(endpoint.name, endpoint.status)

logs = js_endpoint.get_logs()
print(logs)

Pembersihan sumber daya

Setelah selesai, hapus titik akhir untuk menghindari biaya yang tidak perlu.

Menggunakan CLI

hyp delete hyp-jumpstart-endpoint --name endpoint-jumpstart

Menggunakan SDK

js_endpoint.delete()

Langkah selanjutnya

Sekarang setelah Anda melatih PyTorch model, menerapkannya sebagai titik akhir khusus, dan menerapkan JumpStart model menggunakan HyperPod CLI dan SDK, jelajahi fitur-fitur lanjutan:

Untuk lebih banyak contoh dan konfigurasi lanjutan, kunjungi SageMaker HyperPod GitHub repositori.