Gerar respostas no console usando playgrounds

Como usar um playground

1. Caso ainda não tenha feito isso, solicite acesso aos modelos que deseja usar. Para obter mais informações, consulte Acessar modelos de base do Amazon Bedrock.

2. Faça login no Console de gerenciamento da AWS com uma identidade do IAM que tenha permissões para usar o console do Amazon Bedrock. Em seguida, abra o console do Amazon Bedrock em https://console.aws.amazon.com/bedrock/.

3. No painel de navegação, em Playgrounds, escolha Chat/texto ou Imagem.

4. Se você estiver no playground Chat/texto, selecione um Modo.

5. Escolha Selecionar modelo e selecione um provedor, um modelo e um throughput a serem usados. Para ter mais informações sobe aumentar o throughput, consulte Aumentar o throughput com inferência entre regiões e Throughput provisionado.

6. Envie as seguintes informações para gerar uma resposta:

   • Prompt: uma ou mais frases de texto que configuram um cenário, uma pergunta ou uma tarefa para um modelo. Para obter informações sobre como criar prompts, consulte Conceitos de engenharia de prompts.

     Se você estiver usando o modo de chat do playground de chat/texto, alguns modelos (consulte Modelos compatíveis e recursos do modelo) permitem que você inclua um arquivo das seguintes maneiras:

     • Selecione o ícone de anexo e escolha um arquivo para fazer upload.

     • Selecione o ícone de anexo e escolha um objeto do Amazon S3 para fazer upload.

     • Arraste um arquivo até o prompt.

     Inclua arquivos para complementar o prompt. Você pode consultar o arquivo no texto do prompt. Por exemplo, você pode escrever Summarize this document for me ou Tell me what's in this image. Você pode incluir os seguintes tipos de arquivo:

     • Documentos: adicione documentos para complementar o prompt. Para obter uma lista dos tipos de arquivo compatíveis, consulte o campo format em DocumentBlock.

       Atenção

       Os nomes de documento são vulneráveis a injeções de prompt, porque o modelo pode interpretá-los inadvertidamente como instruções. Por isso, é recomendável especificar um nome neutro.

     • Imagens: adicione imagens para complementar o prompt, se o modelo permitir entradas multimodais de imagem e texto. Para obter uma lista dos tipos de arquivo compatíveis, consulte o campo format em ImageBlock.

     • Imagens: adicione vídeos para complementar o prompt, se o modelo permitir entradas multimodais de vídeo e texto. Para ver uma lista dos tipos de arquivo compatíveis, consulte o campo format em VideoBlock.

   • Configurações: configurações ajustadas por você para modificar a resposta do modelo. Entre as configurações estão:

     • Parâmetros de inferência: valores que afetam ou limitam a maneira como o modelo gera a resposta. Para obter mais informações, consulte Geração de resposta de influência com parâmetros de inferência. Para examinar parâmetros de inferência para modelos específicos, consulte Parâmetros de solicitação de inferência e campos de resposta para modelos de base.

     • Prompts de sistema: prompts que dão instruções ou contextualizam para o modelo a tarefa que ele deve realizar ou a persona que ele deve adotar. Eles só estão disponíveis no modo chat do playground de chat/texto. Para obter mais informações e uma lista de modelos compatíveis com prompts do sistema, consulte Realizar uma conversa com as operações de API Converse.

     • Barreiras de proteção: filtra conteúdo perigoso ou indesejado em prompts e respostas de modelo. Para obter mais informações, consulte Detectar e filtrar conteúdo nocivo usando as Barreiras de Proteção do Amazon Bedrock.

7. (Opcional) se um modelo for compatível com streaming, o comportamento padrão no playground de chat/texto será transmitir as respostas. Você pode desativar o streaming escolhendo o ícone de opções ( ) e modificando a opção Preferência de streaming.

8. (Opcional) No modo chat do playground de chat/texto, você pode comparar respostas de modelos diferentes fazendo o seguinte:

   1. Ative o Modo de comparação.

   2. Escolha Selecionar modelo e selecione um provedor, um modelo e um throughput a serem usados.

   3. Escolha o ícone de configurações ( ) para modificar as configurações a serem usadas.

   4. Para adicionar mais modelos a serem comparados, escolha o ícone + à direita, selecione um modelo e modifique as configurações conforme necessário.

9. (Opcional) Se um modelo permitir armazenamento em cache de prompts, você poderá abrir o painel Configurações e ativar o Armazenamento em cache de prompts para permitir o armazenamento em cache de suas entradas e das respostas do modelo e reduzir o custo e a latência. Para obter mais informações, consulte Armazenamento em cache de prompts para agilizar a inferência do modelo.

10. Para executar o prompt, escolha Executar. O Amazon Bedrock não armazena nenhum texto, imagem ou documento que você forneça. Os dados são usados somente para gerar a resposta.

    nota

    Se a resposta violar a política de moderação de conteúdo, o Amazon Bedrock não a exibirá. Se você ativou o streaming, o Amazon Bedrock limpa toda a resposta caso ela gere conteúdo que viole a política. Para obter mais detalhes, acesse o console Amazon Bedrock, selecione Provedores e leia o texto na seção Limitações de conteúdo.

11. O modelo exibe a resposta. Se estiver usando o modo chat do playground de chat/texto, você poderá enviar um prompt para responder à resposta e gerar outra resposta.

12. Depois de gerar uma resposta, você terá as seguintes opções:

    • Para exportar a resposta como um arquivo JSON, escolha o ícone de opções ( ) e selecione Exportar como JSON.

    • Para exibir a solicitação de API feita por você, escolha o ícone de opções ( ) e selecione Visualizar solicitação de API.

    • No modo chat do playground de chat/texto, você pode exibir as métricas na seção Métricas do modelo. As seguintes métricas de modelo estão disponíveis:

      • Latência: o tempo que leva entre o recebimento da solicitação pelo Amazon Bedrock e o momento em que a resposta é exibida (para respostas sem streaming) ou o momento em que o fluxo de respostas é concluído (para respostas de streaming).

      • Contagem de tokens de entrada: o número de tokens que são inseridos no modelo como entrada durante a inferência.

      • Contagem de tokens de saída: o número de tokens gerados em resposta a um prompt. Respostas mais longas e mais coloquiais exigem mais tokens.

      • Custo: o custo de processar a entrada e gerar tokens de saída.

      Para definir critérios de métricas aos quais você deseja que a resposta corresponda, escolha Definir critérios de métricas e defina condições para que o modelo corresponda. Depois que você aplica os critérios, a seção Métricas do modelo mostra quantos e quais critérios foram atendidos pela resposta.

      Se os critérios não forem atendidos, você poderá escolher um modelo diferente, reescrever o prompt ou modificar as configurações e reexecutar o prompt.