Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementa un modello JumpStart

Puoi implementare un JumpStart modello pre-addestrato per l'inferenza utilizzando la CLI o l'SDK.

Utilizzo della CLI

Esegui il comando seguente per distribuire un modello: JumpStart

hyp create hyp-jumpstart-endpoint \
  --version 1.0 \
  --model-id deepseek-llm-r1-distill-qwen-1-5b \
  --instance-type ml.g5.8xlarge \
  --endpoint-name endpoint-test-jscli

Utilizzo di SDK

Crea uno script Python con il seguente contenuto:

from sagemaker.hyperpod.inference.config.hp_jumpstart_endpoint_config import Model, Server, SageMakerEndpoint, TlsConfig
from sagemaker.hyperpod.inference.hp_jumpstart_endpoint import HPJumpStartEndpoint

model=Model(
    model_id='deepseek-llm-r1-distill-qwen-1-5b'
)

server=Server(
    instance_type='ml.g5.8xlarge',
)

endpoint_name=SageMakerEndpoint(name='<endpoint-name>')

# create spec
js_endpoint=HPJumpStartEndpoint(
    model=model,
    server=server,
    sage_maker_endpoint=endpoint_name
)

Richiamare l'endpoint

Utilizzo della CLI

Testa l’endpoint con un input di esempio:

hyp invoke hyp-jumpstart-endpoint \
    --endpoint-name endpoint-jumpstart \
    --body '{"inputs":"What is the capital of USA?"}'

Utilizzo di SDK

Aggiungi il codice seguente allo script Python:

data = '{"inputs":"What is the capital of USA?"}'
response = js_endpoint.invoke(body=data).body.read()
print(response)

Gestione dell’endpoint

Utilizzo della CLI

Elenca e ispeziona l’endpoint:

hyp list hyp-jumpstart-endpoint
hyp get hyp-jumpstart-endpoint --name endpoint-jumpstart

Utilizzo di SDK

Aggiungi il codice seguente allo script Python:

endpoint_iterator = HPJumpStartEndpoint.list()
for endpoint in endpoint_iterator:
    print(endpoint.name, endpoint.status)

logs = js_endpoint.get_logs()
print(logs)

Eseguire la pulizia delle risorse

Al termine, elimina l’endpoint per evitare costi inutili.

Utilizzo della CLI

hyp delete hyp-jumpstart-endpoint --name endpoint-jumpstart

Utilizzo di SDK

js_endpoint.delete()

Fasi successive

Ora che hai addestrato un PyTorch modello, lo hai distribuito come endpoint personalizzato e distribuito un JumpStart modello utilizzando la HyperPod CLI e l'SDK, esplora le funzionalità avanzate:

Per altri esempi e configurazioni avanzate, visita il repository. SageMaker HyperPod GitHub