Gerar respostas no console usando playgrounds

Como usar um playground

1. Caso ainda não tenha feito isso, solicite acesso aos modelos que deseja usar. Para obter mais informações, consulte Acessar modelos de base do Amazon Bedrock.

2. Faça login no Console de gerenciamento da AWS com uma identidade do IAM que tenha permissões para usar o console Amazon Bedrock. Em seguida, abra o console Amazon Bedrock em https://console.aws.amazon.com/bedrock.

3. No painel de navegação, em Playgrounds, escolha Chat/texto ou Imagem.

4. Se você estiver no playground Chat/texto, selecione um Modo.

5. Escolha Selecionar modelo e selecione um provedor, um modelo e um throughput a serem usados. Para ter mais informações sobe aumentar o throughput, consulte Aumentar o throughput com inferência entre regiões e Aumentar a capacidade de invocação do modelo com throughput provisionado no Amazon Bedrock.

6. Envie as seguintes informações para gerar uma resposta:

   • Prompt: uma ou mais frases de texto que configuram um cenário, uma pergunta ou uma tarefa para um modelo. Para obter informações sobre como criar prompts, consulte Conceitos de engenharia de prompts.

     Se você estiver usando o modo de bate-papo do chat/text playground, alguns modelos (consulteModelos compatíveis e recursos do modelo) permitem que você inclua um arquivo das seguintes formas:

     • Selecione o ícone de anexo e escolha um arquivo para fazer upload.

     • Selecione o ícone de anexo e escolha um objeto do Amazon S3 para fazer upload.

     • Arraste um arquivo até o prompt.

     Inclua arquivos para complementar o prompt. Você pode consultar o arquivo no texto do prompt. Por exemplo, você pode escrever Summarize this document for me ou Tell me what's in this image. Você pode incluir os seguintes tipos de arquivo:

     • Documentos: adicione documentos para complementar o prompt. Para obter uma lista dos tipos de arquivo compatíveis, consulte o format campo em DocumentBlock.

       Atenção

       Os nomes de documento são vulneráveis a injeções de prompt, porque o modelo pode interpretá-los inadvertidamente como instruções. Por isso, é recomendável especificar um nome neutro.

     • Imagens: adicione imagens para complementar o prompt, se o modelo permitir entradas multimodais de imagem e texto. Para obter uma lista dos tipos de arquivo compatíveis, consulte o format campo no ImageBlock.

     • Imagens: adicione vídeos para complementar o prompt, se o modelo permitir entradas multimodais de vídeo e texto. Para obter uma lista dos tipos de arquivo compatíveis, consulte o format campo no VideoBlock.

   • Configurações: configurações ajustadas por você para modificar a resposta do modelo. Entre as configurações estão:

     • Parâmetros de inferência: valores que afetam ou limitam a maneira como o modelo gera a resposta. Para obter mais informações, consulte Geração de resposta de influência com parâmetros de inferência. Para examinar parâmetros de inferência para modelos específicos, consulte Parâmetros de solicitação de inferência e campos de resposta para modelos de base.

     • Prompts de sistema: prompts que dão instruções ou contextualizam para o modelo a tarefa que ele deve realizar ou a persona que ele deve adotar. Eles estão disponíveis apenas no modo de bate-papo do chat/text playground. Para obter mais informações e uma lista de modelos compatíveis com prompts do sistema, consulte Realizar uma conversa com as operações de API Converse.

     • Barreiras de proteção: filtra conteúdo perigoso ou indesejado em prompts e respostas de modelo. Para obter mais informações, consulte Detectar e filtrar conteúdo nocivo usando as Barreiras de Proteção do Amazon Bedrock.

7. (Opcional) Se um modelo suportar streaming, o comportamento padrão no chat/text playground é transmitir as respostas. Você pode desativar o streaming escolhendo o ícone de opções ( ) e modificando a opção Preferência de streaming.

8. (Opcional) No modo de bate-papo do chat/text playground, você pode comparar respostas de diferentes modelos fazendo o seguinte:

   1. Ative o Modo de comparação.

   2. Escolha Selecionar modelo e selecione um provedor, um modelo e um throughput a serem usados.

   3. Escolha o ícone de configurações ( ) para modificar as configurações a serem usadas.

   4. Para adicionar mais modelos a serem comparados, escolha o ícone + à direita, selecione um modelo e modifique as configurações conforme necessário.

9. (Opcional) Se um modelo permitir armazenamento em cache de prompts, você poderá abrir o painel Configurações e ativar o Armazenamento em cache de prompts para permitir o armazenamento em cache de suas entradas e das respostas do modelo e reduzir o custo e a latência. Para obter mais informações, consulte Armazenamento em cache de prompts para agilizar a inferência do modelo.

10. Para executar o prompt, escolha Executar. O Amazon Bedrock não armazena nenhum texto, imagem ou documento que você forneça. Os dados são usados somente para gerar a resposta.

    nota

    Se a resposta violar a política de moderação de conteúdo, o Amazon Bedrock não a exibirá. Se você ativou o streaming, o Amazon Bedrock limpa toda a resposta caso ela gere conteúdo que viole a política. Para obter mais detalhes, acesse o console Amazon Bedrock, selecione Provedores e leia o texto na seção Limitações de conteúdo.

11. O modelo exibe a resposta. Se você estiver usando o modo de bate-papo do chat/text playground, poderá enviar uma solicitação para responder à resposta e gerar outra resposta.

12. Depois de gerar uma resposta, você terá as seguintes opções:

    • Para exportar a resposta como um arquivo JSON, escolha o ícone de opções ( ) e selecione Exportar como JSON.

    • Para exibir a solicitação de API feita por você, escolha o ícone de opções ( ) e selecione Visualizar solicitação de API.

    • No modo de bate-papo do chat/text playground, você pode ver as métricas na seção Métricas do modelo. As seguintes métricas de modelo estão disponíveis:

      • Latência: o tempo que leva entre o recebimento da solicitação pelo Amazon Bedrock e o momento em que a resposta é exibida (para respostas sem streaming) ou o momento em que o fluxo de respostas é concluído (para respostas de streaming).

      • Contagem de tokens de entrada: o número de tokens que são inseridos no modelo como entrada durante a inferência.

      • Contagem de tokens de saída: o número de tokens gerados em resposta a um prompt. Respostas mais longas e mais coloquiais exigem mais tokens.

      • Custo: o custo de processar a entrada e gerar tokens de saída.

      Para definir critérios de métricas aos quais você deseja que a resposta corresponda, escolha Definir critérios de métricas e defina condições para que o modelo corresponda. Depois que você aplica os critérios, a seção Métricas do modelo mostra quantos e quais critérios foram atendidos pela resposta.

      Se os critérios não forem atendidos, você poderá escolher um modelo diferente, reescrever o prompt ou modificar as configurações e reexecutar o prompt.