As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Use um perfil de inferência na invocação de modelos
Você pode usar um perfil de inferência entre regiões no lugar de um modelo básico para encaminhar solicitações para várias regiões. Para monitorar os custos e o uso de um modelo, em uma ou várias regiões, você pode usar um perfil de inferência de aplicativos. Para saber como usar um perfil de inferência ao executar a inferência de modelo, escolha a guia do seu método preferido e siga as etapas:
- Console
-
Para usar um perfil de inferência com um recurso que o suporte, faça o seguinte:
-
Faça login no AWS Management Console com uma identidade do IAM que tenha permissões para usar o console Amazon Bedrock. Em seguida, abra o console Amazon Bedrock em https://console.aws.amazon.com/bedrock/
. -
Navegue até a página do recurso para o qual você deseja usar um perfil de inferência. Por exemplo, selecione Playground de bate-papo/texto no painel de navegação esquerdo.
-
Escolha Selecionar modelo e, em seguida, escolha o modelo. Por exemplo, escolha Amazon e depois Nova Premier.
-
Em Inferência, selecione Perfis de inferência no menu suspenso.
-
Selecione o perfil de inferência a ser usado (por exemplo, US Nova Premier) e escolha Aplicar.
-
- API
-
É possível usar um perfil de inferência ao executar inferência em qualquer região incluída nele com as seguintes operações de API:
-
InvokeModelou InvokeModelWithResponseStream— Para usar um perfil de inferência na invocação do modelo, siga as etapas em Envie uma única solicitação com InvokeModel e especifique o Amazon Resource Name (ARN) do perfil de inferência no campo.
modelIdPara obter um exemplo, consulte Usar um perfil de inferência na invocação de modelos. -
Converse ou ConverseStream— Para usar um perfil de inferência na invocação do modelo com a Converse API, siga as etapas em e Converse com as operações da Converse API especifique o ARN do perfil de inferência no campo.
modelIdPara obter um exemplo, consulte Usar um perfil de inferência em uma conversa. -
RetrieveAndGenerate— Para usar um perfil de inferência ao gerar respostas a partir dos resultados da consulta de uma base de conhecimento, siga as etapas na guia API Testar a base de conhecimento com consultas e respostas e especifique o ARN do perfil de inferência no campo.
modelArnPara obter mais informações, consulte Usar um perfil de inferência para gerar uma resposta. -
CreateEvaluationJob— Para enviar um perfil de inferência para avaliação do modelo, siga as etapas na guia API Iniciando um trabalho de avaliação automática de modelos no Amazon Bedrock e especifique o ARN do perfil de inferência no campo.
modelIdentifier -
CreatePrompt— Para usar um perfil de inferência ao gerar uma resposta para uma solicitação criada no Gerenciamento de solicitações, siga as etapas na guia API Criar um prompt usando o Gerenciamento de Prompts e especifique o ARN do perfil de inferência no campo.
modelId -
CreateFlow— Para usar um perfil de inferência ao gerar uma resposta para uma solicitação embutida que você define em um nó de solicitação em um fluxo, siga as etapas na guia API em. Crie e projete um fluxo no Amazon Bedrock Ao definir o nó do prompt, especifique o ARN do perfil de inferência no campo.
modelId -
CreateDataSource— Para usar um perfil de inferência ao analisar informações não textuais em uma fonte de dados, siga as etapas na seção API e Opções de análise para sua fonte de dados especifique o ARN do perfil de inferência no campo.
modelArn
nota
Se você estiver usando um perfil de inferência entre regiões (definido pelo sistema), poderá usar o ARN ou o ID do perfil de inferência.
-
