Implantar um modelo - Amazon Bedrock

Implantar um modelo

Depois de assinar um modelo, você o implanta em um endpoint do SageMaker AI. Você faz chamadas de inferência ao endpoint. O modelo é hospedado pelo SageMaker AI. Durante o processo de implantação, você deve fornecer as seguintes informações:

  • O nome do endpoint do SageMaker AI.

  • O número de instâncias que recebem chamadas de inferência ao endpoint.

  • O tipo de instância do endpoint.

Também é possível definir configurações avançadas opcionais, como tags.

Um perfil de serviço do SageMaker AI é criado automaticamente para que o SageMaker AI assuma e realize ações em seu nome. Para ter mais informações sobre as permissões do Amazon SageMaker AI, consulte Como usar perfis de execução do SageMaker AI.

Ou você pode escolher um perfil existente ou criar um. Para saber como implantar um modelo do Amazon Bedrock Marketplace, escolha a guia correspondente ao método de sua preferência e siga as etapas.

Como implantar um modelo

  1. Faça login no Console de gerenciamento da AWS usando um perfil do IAM com permissões do Amazon Bedrock.

  2. Na barra de pesquisa, especifique “Amazon Bedrock” e escolha Amazon Bedrock na lista suspensa.

  3. No painel de navegação, escolha Catálogo de modelos.

  4. Escolha o cartão do modelo referente ao modelo que você está implantando.

  5. Escolha Implantar.

  6. Em Nome do endpoint, especifique o nome do endpoint.

  7. Escolha o número de instâncias e selecione o tipo de instância.

  8. Em Configurações avançadas, você pode opcionalmente:

    1. Configurar sua VPC.

    2. Configurar o perfil de acesso ao serviço.

    3. Personalizar suas configurações de criptografia.

    4. Adicionar tags.

  9. Escolha Implantar para implantar seu modelo do Amazon Bedrock Marketplace em um endpoint do SageMaker AI. Esse processo geralmente leva de 10 a 15 minutos.

Use a operação CreateMarketplaceModelEndpoint para criar um endpoint. Alguns modelos têm um contrato de licença de usuário final (EULA). Para aceitar o EULA, você define AcceptEula como True.

O seguinte exemplo usa um comando de exemplo da AWS Command Line Interface para criar um endpoint:

aws bedrock create-marketplace-model-endpoint --model-source-identifier HubContentArn --endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name"
nota

As respostas para as operações CreateMarketplaceModelEndpoint, UpdateMarketplaceModelEndpoint e RegisterMarketplaceModelEndpoint são as mesmas.

{"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}}

É possível modificar o endpoint no Amazon Bedrock Marketplace e no Amazon SageMaker AI. Recomendamos modificar somente o endpoint no Amazon Bedrock. Se você modificar o endpoint no SageMaker AI, talvez não consiga usar o endpoint no Amazon Bedrock. Abaixo estão as modificações que podem fazer com que o endpoint falhe no Amazon Bedrock:

Para que o endpoint funcione, ele deve estar registrado e em serviço. É possível usar o comando da AWS Command Line Interface a seguir para verificar o status do endpoint.


aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name

O endpoint deve ter o seguinte status para que você possa usá-lo com o Amazon Bedrock:


endpointStatus: InService
status: REGISTERED

Se você fez uma modificação que provocou a falha do endpoint, poderá cancelar o registro e registrá-lo novamente. Use a operação DeregisterEndpoint para cancelar o registro do endpoint. Use a operação RegisterEndpoint para registrá-lo novamente.


aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
    

aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --model-source-identifier
         HubContentArn