翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

JumpStart モデルをデプロイする

事前トレーニングした JumpStart モデルを CLI または SDK を使用して、推論用にデプロイできます。

CLI の使用

JumpStart モデルをデプロイするには、以下のコマンドを実行します。

hyp create hyp-jumpstart-endpoint \
  --version 1.0 \
  --model-id deepseek-llm-r1-distill-qwen-1-5b \
  --instance-type ml.g5.8xlarge \
  --endpoint-name endpoint-test-jscli

SDK の使用

次のコンテンツで Python スクリプトを作成します。

from sagemaker.hyperpod.inference.config.hp_jumpstart_endpoint_config import Model, Server, SageMakerEndpoint, TlsConfig
from sagemaker.hyperpod.inference.hp_jumpstart_endpoint import HPJumpStartEndpoint

model=Model(
    model_id='deepseek-llm-r1-distill-qwen-1-5b'
)

server=Server(
    instance_type='ml.g5.8xlarge',
)

endpoint_name=SageMakerEndpoint(name='<endpoint-name>')

# create spec
js_endpoint=HPJumpStartEndpoint(
    model=model,
    server=server,
    sage_maker_endpoint=endpoint_name
)

エンドポイントの呼び出し

CLI の使用

次のとおり、サンプル入力を使用してエンドポイントをテストします。

hyp invoke hyp-jumpstart-endpoint \
    --endpoint-name endpoint-jumpstart \
    --body '{"inputs":"What is the capital of USA?"}'

SDK の使用

Python スクリプトに次のコードを含めます。

data = '{"inputs":"What is the capital of USA?"}'
response = js_endpoint.invoke(body=data).body.read()
print(response)

エンドポイントの管理

CLI の使用

エンドポイントの一覧表示と検査

hyp list hyp-jumpstart-endpoint
hyp get hyp-jumpstart-endpoint --name endpoint-jumpstart

SDK の使用

Python スクリプトに次のコードを含めます。

endpoint_iterator = HPJumpStartEndpoint.list()
for endpoint in endpoint_iterator:
    print(endpoint.name, endpoint.status)

logs = js_endpoint.get_logs()
print(logs)

リソースをクリーンアップする

完了したら、不要なコストを避けるためにエンドポイントを削除します。

CLI の使用

hyp delete hyp-jumpstart-endpoint --name endpoint-jumpstart

SDK の使用

js_endpoint.delete()

次の手順

PyTorch モデルのトレーニング、カスタムエンドポイントとしてのデプロイ、HyperPod の CLI と SDK を使用した デプロイが完了したところで、高度な機能について説明します。

その他の例と詳細設定については、「SageMaker HyperPod GitHub リポジトリ」を参照してください。