Tester et interroger des bases de connaissances multimodales - Amazon Bedrock
Types de requêtes pris en chargeComprendre les métadonnées des réponses

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Tester et interroger des bases de connaissances multimodales

Après avoir ingéré votre contenu multimodal, vous pouvez tester et interroger votre base de connaissances à l'aide de la console ou de l'API. Les types de requêtes disponibles dépendent de l'approche de traitement que vous avez choisie.

Console
Pour tester votre base de connaissances depuis la console

  1. Depuis la page de détails de votre base de connaissances, accédez à la section Tester la base de connaissances.

  2. Choisissez votre type de requête :

    • Extraction standard uniquement : recherchez et récupérez des informations à partir de sources de données dans une base de connaissances unique.

    • Récupération et génération de réponses : interrogez une base de connaissances unique et générez des réponses basées sur les résultats récupérés en utilisant un modèle de base.

      Note

      Si vous avez du contenu multimodal, vous devez utiliser l'analyseur BDA pour la récupération et la génération de réponses.

  3. Configurez des options supplémentaires selon vos besoins :

    • Fragments source : Spécifiez le nombre maximum de fragments source à renvoyer

    • Type de recherche : sélectionnez le type de recherche pour personnaliser la stratégie de requête

    • Filtres de métadonnées : appliquez des filtres pour affiner les résultats de recherche

    • Rambardes : sélectionnez un garde-corps existant ou créez-en un nouveau

  4. Entrez une requête textuelle ou téléchargez une image (Nova Multimodal Embeddings uniquement) pour rechercher votre contenu multimodal. Utilisez le bouton de pièce jointe pour télécharger des images à des fins de recherche de similarité visuelle.

  5. Passez en revue les résultats, notamment :

    • Morceaux de contenu récupérés avec des scores de pertinence

    • Références et horodatages du fichier source (pour l'audio/vidéo)

    • Métadonnées, y compris les types de fichiers et les informations de traitement

    • Pour le contenu multimédia, commandes de lecture avec positionnement automatique des segments en fonction des horodatages récupérés

API

Les exemples suivants montrent comment utiliser l'API Amazon Bedrock Agent Runtime pour interroger votre base de connaissances multimodale par programmation :

Exemple de requête textuelle

Recherche par saisie de texte :

aws bedrock-agent-runtime retrieve \
--knowledge-base-id <knowledge-base-id> \
--retrieval-query text="robot automation in manufacturing"
Exemple de requête d'image (Nova Multimodal Embeddings uniquement)

Effectuez une recherche à l'aide d'une image téléchargée :

{
    "knowledgeBaseId": "<knowledge-base-id>",
    "retrievalQuery": {
        "imageQuery": {
            "inlineContent": {
                "mimeType": "image/jpeg",
                "data": "<base64-encoded-image>"
            }
        }
    }
}

Types de requêtes pris en charge

Requêtes textuelles

Soutenu à la fois par les approches Nova Multimodal Embeddings et BDA. Effectuez une recherche à l'aide de texte en langage naturel pour trouver du contenu pertinent sur tous les types de médias.

Requêtes sur les images

Compatible uniquement avec Nova Multimodal Embeddings. Téléchargez des images pour trouver du contenu visuellement similaire dans votre base de connaissances.

Comprendre les métadonnées des réponses

Les réponses aux requêtes multimodales incluent des métadonnées supplémentaires pour le contenu multimédia :

Attribution de la source

Emplacement du fichier d'origine (SourceURI) et emplacement de stockage multimodal (SupplementalURI) pour un accès fiable

Métadonnées temporelles

Horodatages de début et de fin pour les segments audio et vidéo, permettant une navigation précise vers le contenu pertinent

Informations sur le type de contenu

Indicateurs de format de fichier, de méthode de traitement et de modalité pour aider les applications à gérer les différents types de contenu de manière appropriée

Structure des métadonnées de base de données vectorielles

Lorsque le contenu multimodal est traité et stocké, la structure de métadonnées suivante est utilisée dans la base de données vectorielle :

  • champ de texte : pour les fichiers multimédia traités avec Nova Multimodal Embeddings, ce champ contient une chaîne vide car le contenu est intégré en tant que contenu multimédia natif plutôt que sous forme de texte

  • champ de métadonnées : contient des informations structurées, notamment les détails de la source et les références de contenu associées :

    {
  "source": {
    "sourceType": "S3",
    "s3Location": {
      "uri": "s3://source-bucket/path/to/file.mp4"
    }
  },
  "relatedContent": [{
    "type": "S3",
    "s3Location": {
      "uri": "s3://multimodal-storage-bucket/processed/file.mp4"
    }
  }]
}

  • Champs créés automatiquement : champs supplémentaires pour le filtrage et l'identification :

    • x-amz-bedrock-kb-source-uri: URI source d'origine pour les opérations de filtrage

    • x-amz-bedrock-kb-data-source-id: identifiant de source de données pour suivre l'origine du contenu

    • x-amz-bedrock-kb-chunk-start-time-in-millis: horodatage de début en millisecondes pour les segments audio et vidéo

    • x-amz-bedrock-kb-chunk-end-time-in-millis: horodatage de fin en millisecondes pour les segments audio et vidéo

    • x-amz-bedrock-kb-source-file-mime-type: type MIME du fichier source

    • x-amz-bedrock-kb-source-file-modality: Modalité du fichier source (TEXTE, IMAGE, AUDIO, VIDÉO)

Important

Les applications doivent utiliser les horodatages fournis pour extraire et lire des segments spécifiques à partir de fichiers audio et vidéo. La base de connaissances renvoie des références à des fichiers complets, et non à des clips présegmentés.