Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Stellen Sie ein Modell JumpStart bereit

Sie können ein vortrainiertes JumpStart Modell für Inferenzen entweder mit der CLI oder dem SDK bereitstellen.

Verwenden der CLI

Führen Sie den folgenden Befehl aus, um ein JumpStart Modell bereitzustellen:

hyp create hyp-jumpstart-endpoint \
    --version 1.0 \
    --model-id deepseek-llm-r1-distill-qwen-1-5b \
    --model-version 2.0.4 \
    --instance-type ml.g5.8xlarge \
    --endpoint-name endpoint-jumpstart \
    --tls-output-s3-uri s3://tls-bucket-inf1-beta2

Verwenden der SDK

Erstellen Sie ein Python-Skript mit dem folgenden Inhalt:

from sagemaker.hyperpod.inference.config.hp_jumpstart_endpoint_config import Model, Server, SageMakerEndpoint, TlsConfig
from sagemaker.hyperpod.inference.hp_jumpstart_endpoint import HPJumpStartEndpoint

model = Model(
    model_id="deepseek-llm-r1-distill-qwen-1-5b",
    model_version="2.0.4"
)

server = Server(
    instance_type="ml.g5.8xlarge"
)

endpoint_name = SageMakerEndpoint(name="endpoint-jumpstart")

tls_config = TlsConfig(tls_certificate_output_s3_uri="s3://tls-bucket-inf1-beta2")

js_endpoint = HPJumpStartEndpoint(
    model=model,
    server=server,
    sage_maker_endpoint=endpoint_name,
    tls_config=tls_config
)

js_endpoint.create()

Rufen Sie den Endpunkt auf

Verwenden der CLI

Testen Sie den Endpunkt mit einer Beispieleingabe:

hyp invoke hyp-jumpstart-endpoint \
    --endpoint-name endpoint-jumpstart \
    --body '{"inputs":"What is the capital of USA?"}'

Verwenden der SDK

Fügen Sie Ihrem Python-Skript den folgenden Code hinzu:

data = '{"inputs":"What is the capital of USA?"}'
response = js_endpoint.invoke(body=data).body.read()
print(response)

Verwalte den Endpunkt

Verwenden der CLI

Listen Sie den Endpunkt auf und überprüfen Sie ihn:

hyp list hyp-jumpstart-endpoint
hyp get hyp-jumpstart-endpoint --name endpoint-jumpstart

Verwenden der SDK

Fügen Sie Ihrem Python-Skript den folgenden Code hinzu:

endpoint_iterator = HPJumpStartEndpoint.list()
for endpoint in endpoint_iterator:
    print(endpoint.name, endpoint.status)

logs = js_endpoint.get_logs()
print(logs)

Bereinigen von -Ressourcen

Wenn Sie fertig sind, löschen Sie den Endpunkt, um unnötige Kosten zu vermeiden.

Verwenden der CLI

hyp delete hyp-jumpstart-endpoint --name endpoint-jumpstart

Verwenden der SDK

js_endpoint.delete()

Nächste Schritte

Nachdem Sie ein PyTorch Modell trainiert, als benutzerdefinierten Endpunkt bereitgestellt und ein JumpStart Modell mithilfe der CLI und HyperPod des SDK bereitgestellt haben, erkunden Sie die erweiterten Funktionen:

Weitere Beispiele und erweiterte Konfigurationen finden Sie im SageMaker HyperPod GitHub Repository.