Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Déployer un JumpStart modèle

Vous pouvez déployer un JumpStart modèle préentraîné à des fins d'inférence à l'aide de la CLI ou du SDK.

Utilisation de l’interface de ligne de commande (CLI)

Exécutez la commande suivante pour déployer un JumpStart modèle :

hyp create hyp-jumpstart-endpoint \
  --version 1.0 \
  --model-id deepseek-llm-r1-distill-qwen-1-5b \
  --instance-type ml.g5.8xlarge \
  --endpoint-name endpoint-test-jscli

Utilisation de l’SDK

Créez un script Python avec le contenu suivant :

from sagemaker.hyperpod.inference.config.hp_jumpstart_endpoint_config import Model, Server, SageMakerEndpoint, TlsConfig
from sagemaker.hyperpod.inference.hp_jumpstart_endpoint import HPJumpStartEndpoint

model=Model(
    model_id='deepseek-llm-r1-distill-qwen-1-5b'
)

server=Server(
    instance_type='ml.g5.8xlarge',
)

endpoint_name=SageMakerEndpoint(name='<endpoint-name>')

# create spec
js_endpoint=HPJumpStartEndpoint(
    model=model,
    server=server,
    sage_maker_endpoint=endpoint_name
)

Appeler le point de terminaison

Utilisation de l’interface de ligne de commande (CLI)

Testez le point de terminaison avec un échantillon d’entrée :

hyp invoke hyp-jumpstart-endpoint \
    --endpoint-name endpoint-jumpstart \
    --body '{"inputs":"What is the capital of USA?"}'

Utilisation de l’SDK

Ajoutez le code suivant dans votre script Python :

data = '{"inputs":"What is the capital of USA?"}'
response = js_endpoint.invoke(body=data).body.read()
print(response)

Gestion du point de terminaison

Utilisation de l’interface de ligne de commande (CLI)

Répertoriez et inspectez le point de terminaison :

hyp list hyp-jumpstart-endpoint
hyp get hyp-jumpstart-endpoint --name endpoint-jumpstart

Utilisation de l’SDK

Ajoutez le code suivant dans votre script Python :

endpoint_iterator = HPJumpStartEndpoint.list()
for endpoint in endpoint_iterator:
    print(endpoint.name, endpoint.status)

logs = js_endpoint.get_logs()
print(logs)

nettoyer des ressources ;

Lorsque vous avez terminé, supprimez le point de terminaison pour éviter des coûts inutiles.

Utilisation de l’interface de ligne de commande (CLI)

hyp delete hyp-jumpstart-endpoint --name endpoint-jumpstart

Utilisation de l’SDK

js_endpoint.delete()

Étapes suivantes

Maintenant que vous avez formé un PyTorch modèle, que vous l'avez déployé en tant que point de terminaison personnalisé et que vous avez déployé un JumpStart modèle à l'aide HyperPod de la CLI et du SDK, explorez les fonctionnalités avancées :

Pour plus d'exemples et de configurations avancées, consultez le SageMaker HyperPod GitHub référentiel.