View a markdown version of this page

Implantar modelos de base disponíveis ao público com a função ModelBuilder - SageMaker IA da Amazon
Verificar os tipos de instância padrãoUsar componentes de inferência para implantar vários modelos em um endpoint compartilhadoVerificar os formatos válidos de inferência de entrada e saídaVerificar os cabeçalhos Accept e Content-Type compatíveis

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Implantar modelos de base disponíveis ao público com a função ModelBuilder

Você pode implantar um algoritmo incorporado ou um modelo pré-treinado em um endpoint de SageMaker IA em apenas algumas linhas de código usando o SageMaker Python SDK.

  1. Primeiro, encontre o ID do modelo de sua escolha emModelos de base disponíveis.

  2. Usando o ID do modelo, defina seu modelo como um JumpStart modelo.

    from sagemaker.serve import ModelBuilder
from sagemaker.core.jumpstart.configs import JumpStartConfig

jumpstart_config = JumpStartConfig(model_id="huggingface-text2text-flan-t5-xl")
model_builder = ModelBuilder.from_jumpstart_config(jumpstart_config=jumpstart_config)

  3. Use o método deploy para implantar automaticamente seu modelo para inferência. Neste exemplo, usamos o modelo FLAN-T5 XL deHugging Face.

    model = model_builder.build()
endpoint = model_builder.deploy()

  4. Em seguida, você pode executar a inferência com o modelo implantado usando o invoke método. Text-generation modelos como este aceitam um corpo de solicitação JSON com uma inputs chave. Serialize a carga com json.dumps e defina o tipo de conteúdo como. application/json

    import json

question = "What is Southern California often abbreviated as?"
payload = {"inputs": question, "parameters": {"max_new_tokens": 100}}
response = endpoint.invoke(body=json.dumps(payload), content_type="application/json")
print(response.body.read().decode('utf-8'))
nota

Este exemplo usa o modelo básico FLAN-T5 XL, que é adequado para uma ampla variedade de casos de uso de geração de texto, incluindo resposta a perguntas, resumos, criação de chatbots e muito mais. Para obter mais informações sobre os casos de uso do modelo, consulte Modelos de base disponíveis.

Para obter mais informações sobre a ModelBuilder classe e seus parâmetros, consulte ModelBuilder a documentação do SageMaker Python SDK no site Read the Docs.

Verificar os tipos de instância padrão

Ao implantar um modelo pré-treinado, você pode, opcionalmente, especificar uma versão do modelo no seu. JumpStartConfig Você também pode escolher um tipo de instância no seu ModelBuilder (por exemplo, com o instance_type parâmetro). Todos os JumpStart modelos têm um tipo de instância padrão. Recupere o tipo de instância de implantação padrão usando o seguinte código:

from sagemaker.core import instance_types

instance_type = instance_types.retrieve_default(
    model_id=model_id,
    model_version=model_version,
    scope="inference")
print(instance_type)

Veja todos os tipos de instância compatíveis com um determinado JumpStart modelo com o instance_types.retrieve() método.

Usar componentes de inferência para implantar vários modelos em um endpoint compartilhado

Um componente de inferência é um objeto de hospedagem de SageMaker IA que você pode usar para implantar um ou mais modelos em um endpoint para aumentar a flexibilidade e a escalabilidade. Você deve alterar o endpoint_type para que seu JumpStart modelo seja baseado em componentes de inferência em vez do endpoint padrão baseado em modelo. Importe EndpointType e implante com o tipo de endpoint baseado em componente de inferência:

from sagemaker.core.enums import EndpointType

endpoint = model_builder.deploy(
    endpoint_name = 'jumpstart-model-id-123456789012', 
    endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED
)

Para obter mais informações sobre como criar endpoints com componentes de inferência e implantar modelos de SageMaker IA, consulte. Utilização compartilhada de recursos com vários modelos

Verificar os formatos válidos de inferência de entrada e saída

Para verificar os formatos válidos de entrada e saída de dados para inferência, você pode usar o método retrieve_options() das funções Serializers e Deserializers.

from sagemaker.core.serializers.implementations import retrieve_options as retrieve_serializer_options
from sagemaker.core.deserializers.implementations import retrieve_options as retrieve_deserializer_options

print(retrieve_serializer_options(model_id=model_id, model_version=model_version))
print(retrieve_deserializer_options(model_id=model_id, model_version=model_version))

Verificar os cabeçalhos Accept e Content-Type compatíveis

Além disso, você pode usar o método retrieve_options() para verificar os cabeçalhos Accept e Content-Type compatíveis para um modelo.

from sagemaker.core import content_types, accept_types

print(content_types.retrieve_options(model_id=model_id, model_version=model_version))
print(accept_types.retrieve_options(model_id=model_id, model_version=model_version))

Para obter mais informações sobre os utilitários, consulte APIs utilitárias.