Testando e consultando bases de conhecimento multimodais - Amazon Bedrock
Tipos de consulta compatíveisEntendendo os metadados de resposta

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Testando e consultando bases de conhecimento multimodais

Depois de ingerir seu conteúdo multimodal, você pode testar e consultar sua base de conhecimento usando o console ou a API. Os tipos de consulta disponíveis dependem da abordagem de processamento escolhida.

Console
Para testar sua base de conhecimento a partir do console

  1. Na página de detalhes da sua base de conhecimento, vá até a seção Testar a base de conhecimento.

  2. Escolha seu tipo de consulta:

    • Somente recuperação padrão: consulte e recupere informações de fontes de dados em uma única Base de Conhecimento.

    • Recuperação e geração de respostas: consulte uma única Base de Conhecimento e gere respostas com base nos resultados recuperados usando um modelo básico.

      nota

      Se você tiver conteúdo multimodal, deverá usar o analisador BDA para recuperação e geração de respostas.

  3. Configure opções adicionais conforme necessário:

    • Partes de origem: especifique o número máximo de partes de origem a serem retornadas

    • Tipo de pesquisa: selecione o tipo de pesquisa para personalizar a estratégia de consulta

    • Filtros de metadados: aplique filtros para restringir os resultados da pesquisa

    • Guardrails: Selecione um guardrail existente ou crie um novo

  4. Insira uma consulta de texto ou faça upload de uma imagem (somente Nova Multimodal Embeddings) para pesquisar seu conteúdo multimodal. Use o botão de anexo para fazer upload de imagens para pesquisa visual por similaridade.

  5. Analise os resultados, que incluem:

    • Pedaços de conteúdo recuperados com pontuações de relevância

    • Referências e registros de data e hora do arquivo de origem (para áudio/vídeo)

    • Metadados, incluindo tipos de arquivo e informações de processamento

    • Para conteúdo multimídia, controles de reprodução com posicionamento automático de segmentos com base em registros de data e hora recuperados

API

Os exemplos a seguir mostram como usar a API Amazon Bedrock Agent Runtime para consultar programaticamente sua base de conhecimento multimodal:

Exemplo de consulta de texto

Pesquise usando entrada de texto:

aws bedrock-agent-runtime retrieve \
--knowledge-base-id <knowledge-base-id> \
--retrieval-query text="robot automation in manufacturing"
Exemplo de consulta de imagem (somente Nova Multimodal Embeddings)

Pesquise usando uma imagem enviada:

{
    "knowledgeBaseId": "<knowledge-base-id>",
    "retrievalQuery": {
        "imageQuery": {
            "inlineContent": {
                "mimeType": "image/jpeg",
                "data": "<base64-encoded-image>"
            }
        }
    }
}

Tipos de consulta compatíveis

Consultas de texto

Compatível com as abordagens Nova Multimodal Embeddings e BDA. Pesquise usando texto em linguagem natural para encontrar conteúdo relevante em todos os tipos de mídia.

Consultas de imagens

Compatível apenas com Nova Multimodal Embeddings. Faça upload de imagens para encontrar conteúdo visualmente semelhante em sua base de conhecimento.

Entendendo os metadados de resposta

As respostas de consultas multimodais incluem metadados adicionais para conteúdo multimídia:

Atribuição da fonte

Local do arquivo original (sourceURI) e local de armazenamento multimodal (SupplementalURI) para acesso confiável

Metadados temporais

Carimbos de data e hora de início e término para segmentos de áudio e vídeo, permitindo uma navegação precisa até o conteúdo relevante

Informações sobre o tipo de conteúdo

Indicadores de formato de arquivo, método de processamento e modalidade para ajudar os aplicativos a lidar adequadamente com diferentes tipos de conteúdo

Estrutura de metadados do banco de dados vetoriais

Quando o conteúdo multimodal é processado e armazenado, a seguinte estrutura de metadados é usada no banco de dados vetoriais:

  • campo de texto: para arquivos multimídia processados com o Nova Multimodal Embeddings, esse campo contém uma string vazia, pois o conteúdo é incorporado como multimídia nativa em vez de texto

  • campo de metadados: contém informações estruturadas, incluindo detalhes da fonte e referências de conteúdo relacionado:

    {
  "source": {
    "sourceType": "S3",
    "s3Location": {
      "uri": "s3://source-bucket/path/to/file.mp4"
    }
  },
  "relatedContent": [{
    "type": "S3",
    "s3Location": {
      "uri": "s3://multimodal-storage-bucket/processed/file.mp4"
    }
  }]
}

  • Campos criados automaticamente: campos adicionais para filtragem e identificação:

    • x-amz-bedrock-kb-source-uri: URI de origem original para operações de filtragem

    • x-amz-bedrock-kb-data-source-id: identificador da fonte de dados para rastrear a origem do conteúdo

    • x-amz-bedrock-kb-chunk-start-time-in-millis: inicie o timestamp em milissegundos para segmentos de áudio e vídeo

    • x-amz-bedrock-kb-chunk-end-time-in-millis: carimbo de data/hora final em milissegundos para segmentos de áudio e vídeo

    • x-amz-bedrock-kb-source-file-mime-type: tipo MIME do arquivo de origem

    • x-amz-bedrock-kb-source-file-modality: Modalidade do arquivo de origem (TEXTO, IMAGEM, ÁUDIO, VÍDEO)

Importante

Os aplicativos devem usar os registros de data e hora fornecidos para extrair e reproduzir segmentos específicos de arquivos de áudio e vídeo. A base de conhecimento retorna referências a arquivos completos, não a clipes pré-segmentados.