As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Implemente um modelo personalizado
Após a conclusão do treinamento, implante seu modelo para inferência. Você pode implantar um modelo personalizado usando a CLI ou o SDK.
Localize os artefatos do seu modelo
-
Verifique seu bucket do S3: verifique se os artefatos do modelo estão salvos em
s3://my-bucket/model-artifacts/
-
Anote o caminho exato: você precisará do caminho completo (por exemplo,
s3://my-bucket/model-artifacts/test-pytorch-job/model.tar.gz
)
Implemente usando a CLI
Execute o comando a seguir para implantar seu modelo personalizado:
hyp create hyp-custom-endpoint \ --version 1.0 \ --env '{"HF_MODEL_ID":"/opt/ml/model", "SAGEMAKER_PROGRAM":"inference.py", }' \ --model-source-type s3 \ --model-location test-pytorch-job/model.tar.gz \ --s3-bucket-name my-bucket \ --s3-region us-east-2 \ --prefetch-enabled true \ --image-uri 763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-inference:latest \ --model-volume-mount-name model-weights \ --container-port 8080 \ --resources-requests '{"cpu": "30000m", "nvidia.com/gpu": 1, "memory": "100Gi"}' \ --resources-limits '{"nvidia.com/gpu": 1}' \ --tls-output-s3-uri s3://tls-bucket-inf1-beta2 \ --instance-type ml.g5.8xlarge \ --endpoint-name endpoint-custom-pytorch \ --model-name pytorch-custom-model \
Esse comando implanta o modelo treinado como um endpoint chamado. endpoint-custom-pytorch
--model-location
Faz referência ao caminho do artefato do trabalho de treinamento.
Implemente usando o SDK do Python
Crie um script em Python com o seguinte conteúdo:
from sagemaker.hyperpod.inference.config.hp_custom_endpoint_config import Model, Server, SageMakerEndpoint, TlsConfig, EnvironmentVariables from sagemaker.hyperpod.inference.hp_custom_endpoint import HPCustomEndpoint model = Model( model_source_type="s3", model_location="test-pytorch-job/model.tar.gz", s3_bucket_name="my-bucket", s3_region="us-east-2", prefetch_enabled=True ) server = Server( instance_type="ml.g5.8xlarge", image_uri="763104351884.dkr.ecr.us-east-2.amazonaws.com/huggingface-pytorch-tgi-inference:2.4.0-tgi2.3.1-gpu-py311-cu124-ubuntu22.04-v2.0", container_port=8080, model_volume_mount_name="model-weights" ) resources = { "requests": {"cpu": "30000m", "nvidia.com/gpu": 1, "memory": "100Gi"}, "limits": {"nvidia.com/gpu": 1} } env = EnvironmentVariables( HF_MODEL_ID="/opt/ml/model", SAGEMAKER_PROGRAM="inference.py", SAGEMAKER_SUBMIT_DIRECTORY="/opt/ml/model/code", MODEL_CACHE_ROOT="/opt/ml/model", SAGEMAKER_ENV="1" ) endpoint_name = SageMakerEndpoint(name="endpoint-custom-pytorch") tls_config = TlsConfig(tls_certificate_output_s3_uri="s3://tls-bucket-inf1-beta2") custom_endpoint = HPCustomEndpoint( model=model, server=server, resources=resources, environment=env, sage_maker_endpoint=endpoint_name, tls_config=tls_config, ) custom_endpoint.create()
Invocar o endpoint
Uso da CLI
Teste o endpoint com uma entrada de amostra:
hyp invoke hyp-custom-endpoint \ --endpoint-name endpoint-custom-pytorch \ --body '{"inputs":"What is the capital of USA?"}'
Isso retorna a resposta do modelo, como “A capital dos EUA é Washington, D.C.”
Uso da SDK
Adicione o código a seguir ao seu script Python:
data = '{"inputs":"What is the capital of USA?"}' response = custom_endpoint.invoke(body=data).body.read() print(response)
Gerencie o endpoint
Uso da CLI
Liste e inspecione o endpoint:
hyp list hyp-custom-endpoint hyp get hyp-custom-endpoint --name endpoint-custom-pytorch
Uso da SDK
Adicione o código a seguir ao seu script Python:
logs = custom_endpoint.get_logs() print(logs)
Limpar recursos
Quando terminar, exclua o endpoint para evitar custos desnecessários.
Uso da CLI
hyp delete hyp-custom-endpoint --name endpoint-custom-pytorch
Uso da SDK
custom_endpoint.delete()
Próximas etapas
Você implantou e testou com sucesso um modelo personalizado usando o. SageMaker HyperPod Agora você pode usar esse endpoint para inferência em seus aplicativos.