Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Déployer un JumpStart modèle

Vous pouvez déployer un JumpStart modèle préentraîné à des fins d'inférence à l'aide de la CLI ou du SDK.

Utilisation de l’ CLI

Exécutez la commande suivante pour déployer un JumpStart modèle :

hyp create hyp-jumpstart-endpoint \
    --version 1.0 \
    --model-id deepseek-llm-r1-distill-qwen-1-5b \
    --model-version 2.0.4 \
    --instance-type ml.g5.8xlarge \
    --endpoint-name endpoint-jumpstart \
    --tls-output-s3-uri s3://tls-bucket-inf1-beta2

Utilisation de l'SDK

Créez un script Python avec le contenu suivant :

from sagemaker.hyperpod.inference.config.hp_jumpstart_endpoint_config import Model, Server, SageMakerEndpoint, TlsConfig
from sagemaker.hyperpod.inference.hp_jumpstart_endpoint import HPJumpStartEndpoint

model = Model(
    model_id="deepseek-llm-r1-distill-qwen-1-5b",
    model_version="2.0.4"
)

server = Server(
    instance_type="ml.g5.8xlarge"
)

endpoint_name = SageMakerEndpoint(name="endpoint-jumpstart")

tls_config = TlsConfig(tls_certificate_output_s3_uri="s3://tls-bucket-inf1-beta2")

js_endpoint = HPJumpStartEndpoint(
    model=model,
    server=server,
    sage_maker_endpoint=endpoint_name,
    tls_config=tls_config
)

js_endpoint.create()

Appeler le point de terminaison

Utilisation de l’ CLI

Testez le point final avec un échantillon d'entrée :

hyp invoke hyp-jumpstart-endpoint \
    --endpoint-name endpoint-jumpstart \
    --body '{"inputs":"What is the capital of USA?"}'

Utilisation de l'SDK

Ajoutez le code suivant à votre script Python :

data = '{"inputs":"What is the capital of USA?"}'
response = js_endpoint.invoke(body=data).body.read()
print(response)

Gérez le point de terminaison

Utilisation de l’ CLI

Répertoriez et inspectez le point de terminaison :

hyp list hyp-jumpstart-endpoint
hyp get hyp-jumpstart-endpoint --name endpoint-jumpstart

Utilisation de l'SDK

Ajoutez le code suivant à votre script Python :

endpoint_iterator = HPJumpStartEndpoint.list()
for endpoint in endpoint_iterator:
    print(endpoint.name, endpoint.status)

logs = js_endpoint.get_logs()
print(logs)

Nettoyage des ressources

Lorsque vous avez terminé, supprimez le point de terminaison pour éviter des coûts inutiles.

Utilisation de l’ CLI

hyp delete hyp-jumpstart-endpoint --name endpoint-jumpstart

Utilisation de l'SDK

js_endpoint.delete()

Étapes suivantes

Maintenant que vous avez formé un PyTorch modèle, que vous l'avez déployé en tant que point de terminaison personnalisé et que vous avez déployé un JumpStart modèle à l'aide HyperPod de la CLI et du SDK, explorez les fonctionnalités avancées :

Pour plus d'exemples et de configurations avancées, consultez le SageMaker HyperPod GitHub référentiel.