As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá. # Exemplos de código para throughput provisionado Os exemplos de código a seguir demonstram como criar uma taxa de transferência provisionada e como gerenciá-la e invocá-la usando o e o SDK AWS CLI do Python. Você pode criar uma taxa de transferência provisionada a partir de um modelo básico ou de um modelo que você já personalizou. Antes de começar, execute os seguintes pré-requisitos: **Pré-requisitos** Os exemplos a seguir usam o Amazon Nova Lite modelo, cujo ID do modelo é`amazon.nova-lite-v1:0:24k`. Se ainda não o fez, solicite acesso ao Amazon Nova Lite seguindo as etapas em[Gerencie o acesso ao modelo usando SDK e CLI](model-access.md#model-access-modify). Se você quiser comprar o Provisioned Throughput para um modelo básico diferente ou um modelo personalizado, você precisará fazer o seguinte: 1. Encontre o ID do modelo (para modelos básicos), o nome (para modelos personalizados) ou o ARN (para qualquer um) do modelo fazendo o seguinte: + Se você estiver comprando uma taxa de transferência provisionada para um modelo básico, encontre o ID ou o Amazon Resource Name (ARN) de um modelo que ofereça suporte ao provisionamento de uma das seguintes formas: + Procure o valor na tabela. + Envie uma [ListFoundationModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListFoundationModels.html)solicitação e especifique o `byInferenceType` valor `PROVISIONED` para ver uma lista de modelos que oferecem suporte ao provisionamento. Encontre o valor no `modelArn` campo `modelId` ou. + Se você estiver comprando uma taxa de transferência provisionada para um modelo personalizado, encontre o nome ou o Amazon Resource Name (ARN) do modelo que você personalizou de uma das seguintes formas: + No console do Amazon Bedrock, escolha **Modelos personalizados** no painel de navegação esquerdo. Encontre o nome do seu modelo personalizado na lista de **modelos** ou selecione-o e encontre o **ARN do modelo nos detalhes** do **modelo**. + Envie uma [ListCustomModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListCustomModels.html)solicitação e encontre o `modelArn` valor `modelName` ou do seu modelo personalizado na resposta. 1. Modifique a `body` [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)solicitação nos exemplos abaixo para corresponder ao formato do corpo do modelo, localizando-a em[Parâmetros de solicitação de inferência e campos de resposta para modelos de base](model-parameters.md). Escolha a guia correspondente ao método de sua preferência e siga as etapas: ------ #### [ AWS CLI ] 1. Envie uma [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)solicitação para criar uma chamada de taxa de transferência provisionada sem compromisso executando *MyPT* o seguinte comando em um terminal: ``` aws bedrock create-provisioned-model-throughput \ --model-units 1 \ --provisioned-model-name MyPT \ --model-id amazon.nova-lite-v1:0:24k ``` 1. A resposta retorna o `provisioned-model-arn`. Aguarde até que a criação seja concluída. Para verificar seu status, envie uma [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)solicitação e forneça o nome ou ARN do modelo provisionado como o`provisioned-model-id`, executando o seguinte comando: ``` aws bedrock get-provisioned-model-throughput \ --provisioned-model-id ${provisioned-model-arn} ``` 1. Execute a inferência com seu modelo provisionado enviando uma solicitação. [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) Forneça o ARN do modelo provisionado que foi retornado na `CreateProvisionedModelThroughput` resposta, como o. `model-id` A saída é gravada em um arquivo chamado *output.txt* na sua pasta atual. ``` aws bedrock-runtime invoke-model \ --model-id ${provisioned-model-arn} \ --body '{ "messages": [{ "role": "user", "content": [{ "text": "Hello" }] }], "inferenceConfig": { "temperature":0.7 } }' \ --cli-binary-format raw-in-base64-out \ output.txt ``` 1. Envie uma [DeleteProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteProvisionedModelThroughput.html)solicitação para excluir a taxa de transferência provisionada usando o comando a seguir. Você não receberá mais cobranças pelo throughput provisionado. ``` aws bedrock delete-provisioned-model-throughput --provisioned-model-id MyPT ``` ------ #### [ Python (Boto) ] Os trechos de código a seguir orientam você na criação de uma taxa de transferência provisionada, na obtenção de informações sobre ela e na invocação da taxa de transferência provisionada. 1. Para criar uma taxa de transferência provisionada sem compromisso chamada e *MyPT* atribuir o ARN da taxa de transferência provisionada a uma variável chamada, envie a seguinte solicitação: *provisioned\$1model\$1arn* [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html) ``` import boto3 provisioned_model_name = 'MyPT' bedrock = boto3.client(service_name='bedrock') response = bedrock.create_provisioned_model_throughput( modelUnits=1, provisionedModelName=provisioned_model_name, modelId='amazon.nova-lite-v1:0:24k' ) provisioned_model_arn = response['provisionedModelArn'] ``` 1. Aguarde até que a criação seja concluída. É possível verificar o status com o seguinte trecho de código: Você pode fornecer o nome da taxa de transferência provisionada ou do ARN retornado da resposta como o. [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)`provisionedModelId` ``` bedrock.get_provisioned_model_throughput(provisionedModelId=provisioned_model_name) ``` 1. Execute inferência com seu modelo provisionado atualizado com o comando a seguir e usando o ARN do modelo provisionado como o. `modelId` ``` import json import logging import boto3 from botocore.exceptions import ClientError class ImageError(Exception): "Custom exception for errors returned by the model" def __init__(self, message): self.message = message logger = logging.getLogger(__name__) logging.basicConfig(level=logging.INFO) def generate_text(model_id, body): """ Generate text using your provisioned custom model. Args: model_id (str): The model ID to use. body (str) : The request body to use. Returns: response (json): The response from the model. """ logger.info( "Generating text with your provisioned custom model %s", model_id) brt = boto3.client(service_name='bedrock-runtime') accept = "application/json" content_type = "application/json" response = brt.invoke_model( body=body, modelId=model_id, accept=accept, contentType=content_type ) response_body = json.loads(response.get("body").read()) finish_reason = response_body.get("error") if finish_reason is not None: raise ImageError(f"Text generation error. Error is {finish_reason}") logger.info( "Successfully generated text with provisioned custom model %s", model_id) return response_body def main(): """ Entrypoint for example. """ try: logging.basicConfig(level=logging.INFO, format="%(levelname)s: %(message)s") model_id = provisioned-model-arn body = json.dumps({ "inputText": "what isAWS?" }) response_body = generate_text(model_id, body) print(f"Input token count: {response_body['inputTextTokenCount']}") for result in response_body['results']: print(f"Token count: {result['tokenCount']}") print(f"Output text: {result['outputText']}") print(f"Completion reason: {result['completionReason']}") except ClientError as err: message = err.response["Error"]["Message"] logger.error("A client error occurred: %s", message) print("A client error occured: " + format(message)) except ImageError as err: logger.error(err.message) print(err.message) else: print( f"Finished generating text with your provisioned custom model {model_id}.") if __name__ == "__main__": main() ``` 1. Exclua o throughput provisionado com o seguinte trecho de código: Você não receberá mais cobranças pelo throughput provisionado. ``` bedrock.delete_provisioned_model_throughput(provisionedModelId=provisioned_model_name) ``` ------