Use um perfil de inferência na invocação de modelos
Você pode usar um perfil de inferência entre regiões em vez de um modelo de base para encaminhar solicitações a várias regiões. Para monitorar os custos e o uso de um modelo, em uma ou várias regiões, é possível usar um perfil de inferência de aplicação. Para saber como usar um perfil de inferência ao executar a inferência do modelo, escolha a guia correspondente ao método de sua preferência e siga as etapas:
- Console
-
Para usar um perfil de inferência com um recurso compatível, faça o seguinte:
-
Faça login no Console de gerenciamento da AWS com uma identidade do IAM que tenha permissões para usar o console do Amazon Bedrock. Em seguida, abra o console do Amazon Bedrock em https://console.aws.amazon.com/bedrock/
. -
Navegue até a página do recurso para o qual você deseja usar um perfil de inferência. Por exemplo, selecione Playground chat/texto no painel de navegação à esquerda.
-
Escolha Selecionar modelo e selecione o modelo. Por exemplo, escolha Amazon e depois Nova Premier.
-
Em Inferência, selecione Perfis de inferência no menu suspenso.
-
Selecione o perfil de inferência a ser usado (por exemplo, US Nova Premier) e escolha Aplicar.
-
- API
-
É possível usar um perfil de inferência ao executar inferência em qualquer região incluída nele com as seguintes operações de API:
-
InvokeModel ou InvokeModelWithResponseStream: para usar um perfil de inferência na invocação de modelos, siga as etapas em Enviar um único prompt com InvokeModel e especifique o nome do recurso da Amazon (ARN) ou o perfil de inferência no campo
modelId. Para obter um exemplo, consulte Usar um perfil de inferência na invocação de modelos. -
Converse ou ConverseStream: para usar um perfil de inferência na invocação de modelos com a API Converse, siga as etapas em Realizar uma conversa com as operações de API Converse e especifique o ARN ou o perfil de inferência no campo
modelId. Para obter um exemplo, consulte Usar um perfil de inferência em uma conversa. -
RetrieveAndGenerate: para usar um perfil de inferência ao gerar respostas nos resultados da consulta de uma base de conhecimento, siga as etapas na guia da API em Testar a base de conhecimento com consultas e respostas e especifique o ARN ou o perfil de inferência no campo
modelArn. Para obter mais informações, consulte Usar um perfil de inferência para gerar uma resposta. -
CreateEvaluationJob: para enviar um perfil de inferência à avaliação de modelo, siga as etapas na guia da API em Iniciar um trabalho automático de avaliação de modelo no Amazon Bedrock e especifique o ARN do perfil de inferência no campo
modelIdentifier. -
CreatePrompt: para usar um perfil de inferência ao gerar uma resposta para um prompt criado no Gerenciamento de Prompts, siga as etapas na guia de API em Criar um prompt usando o Gerenciamento de Prompts e especifique o ARN do perfil de inferência no campo
modelId. -
CreateFlow: para usar um perfil de inferência ao gerar uma resposta para um prompt em linha que você define em um nó de prompt em um fluxo, siga as etapas na guia de API em Criar e planejar um fluxo no Amazon Bedrock. Ao definir o nó de prompt, especifique o ARN do perfil de inferência no campo
modelId. -
CreateDataSource: para usar um perfil de inferência ao analisar informações não textuais em uma fonte de dados, siga as etapas na seção de API em Opções de análise para a fonte de dados e especifique o ARN do perfil de inferência no campo
modelArn.
nota
Se você estiver usando um perfil de inferência entre regiões (definido pelo sistema), poderá usar o respectivo ARN ou ID.
-
