Implemente um modelo personalizado - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Implemente um modelo personalizado

Após a conclusão do treinamento, implante seu modelo para inferência. Você pode implantar um modelo personalizado usando a CLI ou o SDK.

Localize os artefatos do seu modelo

  • Verifique seu bucket do S3: verifique se os artefatos do modelo estão salvos em s3://my-bucket/model-artifacts/

  • Anote o caminho exato: você precisará do caminho completo (por exemplo,s3://my-bucket/model-artifacts/test-pytorch-job/model.tar.gz)

Implemente usando a CLI

Execute o comando a seguir para implantar seu modelo personalizado:

hyp create hyp-custom-endpoint \ --version 1.0 \ --env '{"HF_MODEL_ID":"/opt/ml/model", "SAGEMAKER_PROGRAM":"inference.py", }' \ --model-source-type s3 \ --model-location test-pytorch-job/model.tar.gz \ --s3-bucket-name my-bucket \ --s3-region us-east-2 \ --prefetch-enabled true \ --image-uri 763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-inference:latest \ --model-volume-mount-name model-weights \ --container-port 8080 \ --resources-requests '{"cpu": "30000m", "nvidia.com/gpu": 1, "memory": "100Gi"}' \ --resources-limits '{"nvidia.com/gpu": 1}' \ --tls-output-s3-uri s3://tls-bucket-inf1-beta2 \ --instance-type ml.g5.8xlarge \ --endpoint-name endpoint-custom-pytorch \ --model-name pytorch-custom-model \

Esse comando implanta o modelo treinado como um endpoint chamado. endpoint-custom-pytorch --model-locationFaz referência ao caminho do artefato do trabalho de treinamento.

Implemente usando o SDK do Python

Crie um script em Python com o seguinte conteúdo:

from sagemaker.hyperpod.inference.config.hp_custom_endpoint_config import Model, Server, SageMakerEndpoint, TlsConfig, EnvironmentVariables from sagemaker.hyperpod.inference.hp_custom_endpoint import HPCustomEndpoint model = Model( model_source_type="s3", model_location="test-pytorch-job/model.tar.gz", s3_bucket_name="my-bucket", s3_region="us-east-2", prefetch_enabled=True ) server = Server( instance_type="ml.g5.8xlarge", image_uri="763104351884.dkr.ecr.us-east-2.amazonaws.com/huggingface-pytorch-tgi-inference:2.4.0-tgi2.3.1-gpu-py311-cu124-ubuntu22.04-v2.0", container_port=8080, model_volume_mount_name="model-weights" ) resources = { "requests": {"cpu": "30000m", "nvidia.com/gpu": 1, "memory": "100Gi"}, "limits": {"nvidia.com/gpu": 1} } env = EnvironmentVariables( HF_MODEL_ID="/opt/ml/model", SAGEMAKER_PROGRAM="inference.py", SAGEMAKER_SUBMIT_DIRECTORY="/opt/ml/model/code", MODEL_CACHE_ROOT="/opt/ml/model", SAGEMAKER_ENV="1" ) endpoint_name = SageMakerEndpoint(name="endpoint-custom-pytorch") tls_config = TlsConfig(tls_certificate_output_s3_uri="s3://tls-bucket-inf1-beta2") custom_endpoint = HPCustomEndpoint( model=model, server=server, resources=resources, environment=env, sage_maker_endpoint=endpoint_name, tls_config=tls_config, ) custom_endpoint.create()

Invocar o endpoint

Uso da CLI

Teste o endpoint com uma entrada de amostra:

hyp invoke hyp-custom-endpoint \ --endpoint-name endpoint-custom-pytorch \ --body '{"inputs":"What is the capital of USA?"}'

Isso retorna a resposta do modelo, como “A capital dos EUA é Washington, D.C.”

Uso da SDK

Adicione o código a seguir ao seu script Python:

data = '{"inputs":"What is the capital of USA?"}' response = custom_endpoint.invoke(body=data).body.read() print(response)

Gerencie o endpoint

Uso da CLI

Liste e inspecione o endpoint:

hyp list hyp-custom-endpoint hyp get hyp-custom-endpoint --name endpoint-custom-pytorch

Uso da SDK

Adicione o código a seguir ao seu script Python:

logs = custom_endpoint.get_logs() print(logs)

Limpar recursos

Quando terminar, exclua o endpoint para evitar custos desnecessários.

Uso da CLI

hyp delete hyp-custom-endpoint --name endpoint-custom-pytorch

Uso da SDK

custom_endpoint.delete()

Próximas etapas

Você implantou e testou com sucesso um modelo personalizado usando o. SageMaker HyperPod Agora você pode usar esse endpoint para inferência em seus aplicativos.