Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Création d'une base de connaissances pour le contenu multimodal
Les bases de connaissances Amazon Bedrock prennent en charge le contenu multimodal, notamment les images, les fichiers audio et vidéo. Vous pouvez effectuer des recherches en utilisant des images comme requêtes, récupérer du contenu visuellement similaire et traiter des fichiers multimédia parallèlement à des documents texte traditionnels. Cette fonctionnalité vous permet d'extraire des informations à partir de différents types de données : images autonomes, enregistrements audio et fichiers vidéo stockés au sein de votre entreprise.
Les bases de connaissances Amazon Bedrock vous permettent d'indexer et de récupérer des informations à partir de contenus textuels, visuels et audio. Organisations peuvent désormais effectuer des recherches dans les catalogues de produits à l'aide d'images, trouver des moments spécifiques dans les vidéos de formation et récupérer des segments pertinents à partir des enregistrements d'appels du service client.
**Disponibilité par région**
Les approches de traitement multimodales ont une disponibilité régionale différente. Pour plus d’informations, consultez [Disponibilité par région](kb-multimodal-choose-approach.md#kb-multimodal-processing-regions).
## Fonctionnalités et capacités
Les bases de connaissances multimodales fournissent les fonctionnalités clés suivantes :
**Requêtes basées sur des images**
Soumettez des images sous forme de requêtes de recherche pour trouver du contenu visuellement similaire lorsque vous utilisez Nova Multimodal Embeddings. Prend en charge la mise en correspondance des produits, la recherche de similarité visuelle et la récupération d'images.
**Récupération de contenu audio**
Recherchez des fichiers audio à l'aide de requêtes textuelles. Récupérez des segments spécifiques à partir d'enregistrements avec des références d'horodatage. La transcription audio permet une recherche textuelle dans le contenu vocal, y compris les réunions, les appels et les podcasts.
**Extraction de segments vidéo**
Localisez des moments spécifiques dans des fichiers vidéo à l'aide de requêtes textuelles. Récupérez des segments vidéo avec des horodatages précis.
**Recherche intermodale**
Effectuez des recherches dans différents types de données, notamment des documents texte, des images, des fichiers audio et vidéo. Récupérez le contenu pertinent quel que soit le format d'origine.
**Références de source avec horodatage**
Les résultats de récupération incluent des références à des fichiers originaux avec des métadonnées temporelles pour l'audio et la vidéo. Permet une navigation précise vers les segments pertinents du contenu multimédia.
**Options de traitement flexibles**
Choisissez entre les intégrations multimodales natives pour la similitude visuelle ou la conversion de texte pour le contenu vocal. Configurez l'approche de traitement en fonction des caractéristiques du contenu et des exigences de l'application.
## Comment ça marche
Les bases de connaissances multimodales traitent et extraient le contenu via un pipeline en plusieurs étapes qui gère les différents types de données de manière appropriée :
****Ingestion et traitement****
1. **Connexion à une source de données :** connectez votre base de connaissances à des compartiments Amazon S3 ou à des sources de données personnalisées contenant des documents texte, des images, des fichiers audio et des fichiers vidéo.
1. **Détection du type de fichier :** le système identifie chaque type de fichier par son extension et l'achemine vers le pipeline de traitement approprié.
1. **Traitement du contenu :** en fonction de votre configuration, les fichiers sont traités selon l'une des deux approches suivantes :
+ **Nova Multimodal Embeddings :** préserve le format natif pour la mise en correspondance des similitudes visuelles et audio. Les images, le son et la vidéo sont intégrés directement sans conversion en texte.
+ **Bedrock Data Automation (BDA) :** convertit le multimédia en représentations textuelles. Le son est transcrit à l'aide de la reconnaissance vocale automatique (ASR), la vidéo est traitée pour extraire les résumés et les transcriptions des scènes, et les images sont soumises à l'OCR et à l'extraction du contenu visuel.
1. **Génération d'intégration :** le contenu traité est converti en intégrations vectorielles à l'aide du modèle d'intégration sélectionné. Ces intégrations capturent le sens sémantique et permettent une récupération basée sur la similarité.
1. **Stockage vectoriel :** les intégrations sont stockées dans votre base de données vectorielle configurée avec les métadonnées, notamment les références aux fichiers, les horodatages (pour l'audio et la vidéo) et les informations sur le type de contenu.
1. **Stockage multimodal (facultatif) :** s'ils sont configurés, les fichiers multimédia d'origine sont copiés vers une destination de stockage multimodale dédiée pour une récupération fiable, garantissant ainsi la disponibilité même si les fichiers source sont modifiés ou supprimés.
****Requête et extraction****
1. **Traitement des requêtes :** les requêtes des utilisateurs (texte ou image) sont converties en intégrations en utilisant le même modèle d'intégration que celui utilisé lors de l'ingestion.
1. **Recherche de similarité :** l'intégration des requêtes est comparée aux intégrations stockées dans la base de données vectorielle afin d'identifier le contenu le plus pertinent.
1. **Récupération des résultats :** le système renvoie le contenu correspondant avec des métadonnées, notamment :
+ URI source (emplacement du fichier d'origine)
+ Métadonnées d'horodatage (pour les segments audio et vidéo)
+ Informations sur le type de contenu et les modalités
1. **Génération de réponses (facultatif) :** pour les `RetrieveAndGenerate` demandes, le contenu récupéré est transmis à un modèle de base afin de générer des réponses textuelles contextuellement pertinentes. Ceci est pris en charge lors de l'utilisation du traitement BDA ou lorsque la base de connaissances contient du contenu textuel.
**Important**
Le système renvoie des références à des fichiers complets avec des métadonnées d'horodatage pour le contenu audio et vidéo. Votre application doit extraire et lire des segments spécifiques en fonction des horodatages de début et de fin fournis. Le AWS Management Console gère automatiquement.
**Topics**
+ [Fonctionnalités et capacités](#kb-multimodal-features)
+ [Comment ça marche](#kb-multimodal-how-it-works)
+ [Choix de votre approche de traitement multimodale](kb-multimodal-choose-approach.md)
+ [Prérequis pour les bases de connaissances multimodales](kb-multimodal-prerequisites.md)
+ [Création d'une base de connaissances pour le contenu multimodal](kb-multimodal-create.md)
+ [Ajouter des sources de données et démarrer l'ingestion](kb-multimodal-add-data-source-and-ingest.md)
+ [Tester et interroger des bases de connaissances multimodales](kb-multimodal-test-and-query.md)
+ [Dépannage des bases de connaissances multimodales](kb-multimodal-troubleshooting.md)
# Choix de votre approche de traitement multimodale
Les bases de connaissances Amazon Bedrock proposent deux approches pour le traitement du contenu multimodal : Nova Multimodal Embeddings pour les recherches de similarité visuelle, et Bedrock Data Automation (BDA) pour le traitement textuel du contenu multimédia. Vous pouvez également utiliser des modèles de base comme analyseur si votre modalité d'entrée est l'image mais pas pour l'audio ou la vidéo.
Cette section décrit l'utilisation de Nova Multimodal Embeddings et de BDA comme approche de traitement du contenu multimodal. Chaque approche est optimisée pour différents cas d'utilisation et modèles de requêtes.
**Topics**
+ [Approche de traitement multimodale](#kb-multimodal-processing-approach)
+ [Disponibilité par région](#kb-multimodal-processing-regions)
+ [Critères de sélection par type de contenu](#kb-multimodal-selection-guidance)
+ [Types de fichiers et sources de données pris en charge](#kb-multimodal-supported-files)
+ [Capacités et limites](#kb-multimodal-approach-details)
## Approche de traitement multimodale
Le tableau suivant présente une comparaison entre Nova Multimodal Embeddings et BDA pour le traitement du contenu multimodal.
**Comparaison des approches de traitement**
| Caractéristiques | Intégrations multimodales Nova | Automatisation des données Bedrock (BDA) |
| --- | --- | --- |
| Méthode de traitement | Génère des intégrations sans conversion de texte intermédiaire | Convertit le contenu multimédia en texte, puis crée des intégrations |
| Types de requêtes pris en charge | Requêtes de texte ou requêtes d'images | Requêtes textuelles uniquement |
| Principaux cas d'utilisation | Recherche de similarité visuelle, correspondance de produits, découverte d'images | Transcription vocale, recherche textuelle, analyse de contenu |
| Fonctionnalité RAG | Limité au contenu textuel uniquement | RetrieveAndGenerateSupport complet |
| Besoins de stockage | Destination de stockage multimodale requise | Destination de stockage multimodale facultative, mais si elle n'est pas spécifiée, seules les données texte seront traitées par BDA. Pour la saisie autre que du texte, vous devez spécifier une destination de stockage multimodale. |
## Disponibilité par région
**Disponibilité par région**
| Intégrations multimodales Nova | Automatisation des données Bedrock (BDA) |
| --- | --- |
| Est des États-Unis (Virginie du Nord) uniquement | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/bedrock/latest/userguide/kb-multimodal-choose-approach.html) |
## Critères de sélection par type de contenu
Utilisez cette matrice de décision pour choisir l'approche de traitement appropriée en fonction de votre contenu et des exigences du cas d'utilisation :
**Note**
Si vous utilisez l'analyseur BDA avec le modèle d'intégration multimodal Amazon Nova, le modèle d'intégration agira comme un modèle d'intégration de texte. Lorsque vous travaillez avec du contenu multimodal, utilisez l'une des approches de traitement pour obtenir les meilleurs résultats en fonction de votre cas d'utilisation.
**Recommandations relatives à l'approche de traitement par type de contenu**
| Type de contenu | Intégrations multimodales Nova | Automatisation des données Bedrock (BDA) |
| --- | --- | --- |
| Catalogues de produits et images | Recommandé : permet la mise en correspondance visuelle des similitudes et les requêtes basées sur des images | Limité - Extrait uniquement le texte par OCR |
| Enregistrements de réunions et appels | Impossible de traiter le contenu vocal de manière significative | Recommandé : fournit une transcription complète du discours et du texte consultable |
| Vidéos pédagogiques et de formation | Partiel : gère le contenu visuel mais ne tient pas compte de la parole | Recommandé - Capture à la fois les transcriptions vocales et les descriptions visuelles |
| Enregistrements de support client | Non recommandé - Le contenu vocal ne peut pas être traité efficacement | Recommandé : crée des transcriptions de conversation complètes consultables |
| Schémas et graphiques techniques | Recommandé : excellent pour la similitude visuelle et la correspondance des motifs | Limité : extrait les étiquettes de texte mais omet les relations visuelles |
## Types de fichiers et sources de données pris en charge
Les types de fichiers pris en charge dépendent de l'approche de traitement que vous avez choisie :
**Types de fichiers pris en charge par approche de traitement**
| Type de fichier | Intégrations multimodales Nova | Automatisation des données Bedrock (BDA) |
| --- | --- | --- |
| Images | .png, .jpg, .jpeg, .gif, .webp | .png, .jpg, .jpeg |
| Audio | .mp3, .ogg, .wav | .amr, .flac, .m4a, .mp3, .ogg, .wav |
| Vidéo | .mp4, .mov, .mkv, .webm, .flv, .mpeg, .mpg, .wmv, .3gp | .mp4, .mov |
| Documents | Traité sous forme de texte | .pdf (plus extraction de texte à partir d'images) |
****Sources de données prises en charge****
Le contenu multimodal est pris en charge par les sources de données suivantes :
+ **Amazon S3 :** prise en charge complète de tous les types de fichiers multimodaux
+ **Sources de données personnalisées :** Support pour le contenu en ligne jusqu'à 10 Mo codé en base64
**Important**
La récupération multimodale n'est actuellement disponible que pour les sources de données Amazon S3. Les autres sources de données (Confluence, Salesforce SharePoint, Web Crawler) ne traitent pas les fichiers multimodaux lors de l'ingestion. Ces fichiers sont ignorés et ne seront pas disponibles pour les requêtes multimodales.
## Capacités et limites
**Intégrations multimodales Nova**
**Fonctionnalités clés :**
+ Le traitement multimodal natif préserve le format du contenu d'origine pour une correspondance visuelle optimale des similitudes
+ Les requêtes basées sur des images permettent aux utilisateurs de télécharger des images et de trouver du contenu visuellement similaire
+ Excellentes performances pour les catalogues de produits, la recherche visuelle et les applications de découverte de contenu
**Limites :**
+ Impossible de traiter efficacement le contenu vocal ou audio - les informations vocales ne sont pas consultables
+ `RetrieveAndGenerate`et la fonctionnalité de référencement est limitée au contenu textuel uniquement
+ Nécessite la configuration d'une destination de stockage multimodale dédiée
**Automatisation des données Bedrock (BDA)**
**Fonctionnalités clés :**
+ Transcription vocale complète à l'aide de la technologie de reconnaissance vocale automatique (ASR)
+ L'analyse du contenu visuel génère un texte descriptif pour les images et les scènes vidéo
+ Le `RetrieveAndGenerate` support complet permet d'utiliser toutes les fonctionnalités RAG pour tous les contenus
+ La recherche basée sur le texte fonctionne de manière cohérente pour tous les types de contenu multimédia
**Limites :**
+ Aucune prise en charge des requêtes basées sur des images lorsqu'elles sont utilisées sans Nova Multimodal Embeddings - toutes les recherches doivent utiliser la saisie de texte
+ Impossible d'effectuer des image-to-image recherches ou des correspondances visuelles par similarité
+ Temps de traitement d'ingestion plus long en raison des exigences de conversion du contenu
+ Supporte moins de formats de fichiers multimédia par rapport à Nova Multimodal Embeddings
**Traitement du contenu vocal**
Nova Multimodal Embeddings ne peut pas traiter efficacement le contenu vocal des fichiers audio ou vidéo. Si votre contenu multimédia contient des informations vocales importantes que les utilisateurs doivent rechercher, optez pour l'approche BDA pour garantir une transcription complète et une facilité de recherche.
# Prérequis pour les bases de connaissances multimodales
Les bases de connaissances multimodales Amazon Bedrock nécessitent une configuration supplémentaire au-delà des bases de connaissances standard pour traiter les images, le contenu audio et vidéo. Les prérequis spécifiques dépendent de l'approche de traitement et de la configuration de stockage que vous avez choisies.
Avant de créer une base de connaissances multimodale, vous devez remplir les conditions préalables suivantes :
**Topics**
+ [Conditions préalables](#kb-multimodal-prerequisites)
+ [Autorisations pour le contenu multimodal](#kb-multimodal-prerequisites-permissions)
## Conditions préalables
1. Assurez-vous que vos données se trouvent dans un [connecteur de source de données pris en charge](data-source-connectors.md). Le contenu multimodal n'est pris en charge qu'avec Amazon S3 et les sources de données personnalisées.
1. (Facultatif) [Configurez votre propre magasin de vecteurs pris en charge](knowledge-base-setup.md). Vous pouvez ignorer cette étape si vous prévoyez de créer automatiquement un magasin de vecteurs à l’aide de la AWS Management Console .
1. Créez un [rôle de service](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_terms-and-concepts.html#iam-term-service-role) personnalisé Gestion des identités et des accès AWS (IAM) avec les autorisations appropriées pour le traitement multimodal. Consultez [Autorisations pour le contenu multimodal](#kb-multimodal-prerequisites-permissions) pour plus de détails.
**Note**
Si vous utilisez la console, les bases de connaissances Amazon Bedrock configureront automatiquement les autorisations pour vous.
1. (Facultatif) Paramétrez des configurations de sécurité supplémentaires en suivant les étapes décrites dans [Chiffrement des ressources des bases de connaissances](encryption-kb.md).
1. Si vous prévoyez d'utiliser l'opération [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent-runtime_RetrieveAndGenerate.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent-runtime_RetrieveAndGenerate.html)API avec du contenu traité par la BDA, demandez l'accès aux modèles que vous utiliserez dans les régions dans lesquelles vous les utiliserez en suivant les étapes décrites dans. [Accès aux modèles de fondation Amazon Bedrock](model-access.md)
## Autorisations pour le contenu multimodal
Les bases de connaissances multimodales nécessitent des autorisations supplémentaires au-delà des autorisations de base de connaissances standard. Les autorisations spécifiques dépendent de l'approche de traitement et de la configuration de stockage que vous avez choisies.
Vous devez configurer les autorisations suivantes en fonction de votre approche de traitement multimodal :
+ **Autorisations Nova Multimodal Embeddings :** requises lors de l'utilisation de Nova Multimodal Embeddings pour des recherches directes de similarité visuelle et audio. Inclut des autorisations pour l'invocation de modèles asynchrones et l'accès au stockage multimodal.
+ **Autorisations Bedrock Data Automation (BDA) :** requises lors de l'utilisation de BDA pour convertir du contenu multimodal en représentations textuelles. Inclut des autorisations pour l'automatisation des données, l'invocation et la surveillance de l'état.
+ **Autorisations relatives aux clés KMS gérées par le client :** obligatoires lors de l'utilisation de clés de chiffrement gérées par le client avec traitement BDA. Inclut les autorisations pour les opérations clés et la création de subventions.
+ **Autorisations de stockage multimodal :** obligatoires lors de la configuration d'une destination de stockage multimodale. Inclut les autorisations S3 standard pour le compartiment de stockage.
Pour des politiques IAM détaillées et la configuration des step-by-step autorisations, consultez[Autorisations pour le contenu multimodal](kb-permissions.md#kb-permissions-multimodal).
### Besoins de stockage
**Intégrations multimodales Nova**
**Obligatoire :** vous devez configurer une destination de stockage multimodale. Cette destination stocke des copies de vos fichiers multimédia à récupérer et garantit leur disponibilité même si les fichiers sources sont modifiés ou supprimés.
**Automatisation des données Bedrock (BDA)**
**Facultatif :** vous pouvez configurer un bucket de stockage multimodal pour une fiabilité accrue et également pour récupérer le fichier lors de l'exécution. Cependant, cela n'est pas obligatoire puisque BDA convertit le contenu en texte.
Si vous sélectionnez l'analyseur BDA sans configurer de compartiment de stockage multimodal, seule l'analyse de texte sera disponible. Pour tirer parti des fonctionnalités d'analyse multimodale avec BDA (traitement des images, du son et de la vidéo), vous devez configurer une destination de stockage multimodale.
**Configuration de la destination de stockage multimodale**
Lorsque vous configurez votre destination de stockage multimodal, tenez compte des points suivants :
+ **Utiliser des compartiments séparés (recommandé) :** configurez différents compartiments Amazon S3 pour votre source de données et votre destination de stockage multimodal. Cela fournit la configuration la plus simple et évite les conflits potentiels.
+ **Si vous utilisez le même compartiment :** vous devez spécifier un préfixe d'inclusion pour votre source de données qui limite le contenu ingéré. Cela empêche de réingérer les fichiers multimédias extraits.
+ **Évitez le préfixe « aws/ » :** lorsque vous utilisez le même compartiment à la fois pour la source de données et pour la destination de stockage multimodale, n'utilisez pas de préfixes d'inclusion commençant par « aws/ » car ce chemin est réservé au stockage multimédia extrait.
# Création d'une base de connaissances pour le contenu multimodal
Vous pouvez créer des bases de connaissances multimodales à l'aide de la console ou de l'API. Choisissez votre approche en fonction de vos besoins en matière de traitement multimodal.
**Important**
Le support multimodal n'est disponible que lors de la création d'une base de connaissances avec des sources de données non structurées. Les sources de données structurées ne prennent pas en charge le traitement multimodal du contenu.
------
#### [ Console ]
**Pour créer une base de connaissances multimodale à partir de la console**
1. Connectez-vous au AWS Management Console avec une identité IAM autorisée à utiliser la console Amazon Bedrock. Ouvrez ensuite la console Amazon Bedrock à l'adresse [https://console.aws.amazon.com/bedrock.](https://console.aws.amazon.com/bedrock)
1. Dans le volet de navigation de gauche, sélectionnez **Bases de connaissances**.
1. Dans la section **Bases de connaissances**, choisissez **Créer**, puis sélectionnez **Base de connaissances avec magasin de vecteurs**.
1. (Facultatif) Sous **Détails de la base de connaissances**, modifiez le nom par défaut et fournissez une description de votre base de connaissances.
1. Sous **Autorisations IAM**, choisissez un rôle IAM qui fournit à Amazon Bedrock les autorisations nécessaires pour accéder à d’autres Services AWS requis. Vous pouvez soit demander à Amazon Bedrock de créer le rôle de service pour vous, soit choisir d'utiliser votre propre rôle personnalisé. Pour les autorisations multimodales, voir[Autorisations pour le contenu multimodal](kb-permissions.md#kb-permissions-multimodal).
1. Choisissez **Amazon S3** comme source de données et cliquez sur **Suivant** pour configurer votre source de données.
**Note**
Vous pouvez ajouter jusqu'à 5 sources de données Amazon S3 lors de la création de la base de connaissances. Des sources de données supplémentaires peuvent être ajoutées après la création de la base de connaissances.
1. Fournissez l'**URI S3** du compartiment contenant votre contenu multimodal et configurez un préfixe d'inclusion si nécessaire. Le préfixe d'inclusion est un chemin de dossier qui peut être utilisé pour limiter le contenu ingéré.
1. Sous **Configurations de découpage et d'analyse**, choisissez votre stratégie d'analyse :
+ **Analyseur par défaut Bedrock :** recommandé pour le traitement de contenu contenant uniquement du texte. Cet analyseur traite les formats de texte courants tout en ignorant les fichiers multimodaux. Prend en charge les documents texte, notamment les fichiers Word, Excel, HTML, Markdown, TXT et CSV.
+ **Bedrock Data Automation (BDA) :** convertit le contenu multimodal en représentations textuelles consultables. PDFsTraite des images, des fichiers audio et vidéo pour extraire du texte, générer des descriptions pour le contenu visuel et créer des transcriptions pour le contenu audio et vidéo.
+ **Analyseur du modèle de base :** fournit des fonctionnalités d'analyse avancées pour les structures de documents complexes. Processus PDFs, images, documents structurés, tableaux et contenu visuellement riche pour extraire du texte et générer des descriptions pour les éléments visuels.
1. Choisissez **Next** et sélectionnez votre modèle d'intégration et votre approche de traitement multimodal.
+ **Amazon Nova Multimodal Embeddings V1.0 : Choisissez Amazon Nova Embeddings** **V1.0 pour les recherches directes de similarité** visuelle et audio. Configurez la durée des segments audio et vidéo (1 à 30 secondes, 5 secondes par défaut) pour contrôler la manière dont le contenu est segmenté.
**Note**
Les paramètres de segmentation audio et vidéo sont configurés au niveau du modèle d'intégration, et non au niveau de la source de données. Une exception de validation se produit si vous fournissez cette configuration pour les modèles de vectorisation non multimodaux. Configurez la durée des segments audio et vidéo (par défaut : 5 secondes, plage : 1 à 30 secondes) pour contrôler la manière dont le contenu est segmenté. Les segments plus courts permettent une extraction précise du contenu, tandis que les segments plus longs préservent un contexte plus sémantique.
**Important**
Amazon Nova Embedding v1.0 offre une prise en charge limitée de la recherche de contenu vocal dans les audio/video données. Si vous avez besoin de prendre en charge la parole, utilisez Bedrock Data Automation comme analyseur syntaxique.
+ Incorporation de **texte avec BDA : Choisissez un modèle d'intégration de texte (tel que Titan Text Embeddings** v2) lorsque vous utilisez le traitement BDA. Les modèles d'intégration de texte limitent l'extraction au contenu uniquement textuel, mais vous pouvez activer la récupération multimodale en sélectionnant Amazon Bedrock Data Automation ou Foundation Model comme analyseurs.
**Note**
Si vous utilisez un analyseur BDA avec Nova Multimodal Embeddings, les bases de connaissances Amazon Bedrock utiliseront d'abord l'analyse BDA. Dans ce cas, le modèle d'intégration ne générera pas d'intégrations multimodales natives pour les images, le son et les vidéos, car BDA les convertit en représentations textuelles.
1. Si vous utilisez Nova Multimodal Embeddings, configurez la **destination de stockage multimodal** en spécifiant un compartiment Amazon S3 dans lequel les fichiers traités seront stockés pour être récupérés. Les bases de connaissances stockeront les images analysées dans un seul compartiment Amazon S3 avec un dossier créé .bda pour un accès facile.
**Recommandation de politique de cycle de vie**
Lorsque vous utilisez Nova Multimodal Embeddings, Amazon Bedrock stocke les données transitoires dans votre destination de stockage multimodal et tente de les supprimer une fois le traitement terminé. Nous recommandons d'appliquer une politique de cycle de vie au chemin de données transitoire afin de garantir un nettoyage approprié. Pour obtenir des instructions complètes, consultez [Gestion des données transitoires avec les politiques de cycle de vie d'Amazon S3](kb-multimodal-troubleshooting.md#kb-multimodal-lifecycle-policy).
1. Dans la section **Base de données vectorielle**, choisissez votre méthode de stockage vectoriel et configurez les dimensions appropriées en fonction du modèle d'intégration sélectionné.
1. Choisissez **Suivant** et passez en revue les détails de la configuration de votre base de connaissances, puis choisissez **Créer une base de connaissances**.
------
#### [ CLI ]
**Pour créer une base de connaissances multimodale à l'aide du AWS CLI**
+ Créez une base de connaissances avec Nova Multimodal Embeddings. Envoyez une [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateKnowledgeBase.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateKnowledgeBase.html)demande :
```
aws bedrock-agent create-knowledge-base \
--cli-input-json file://kb-nova-mme.json
```
Contenu de `kb-nova-mme.json` (remplacez les valeurs d'espace réservé par votre configuration spécifique) :
```
{
"knowledgeBaseConfiguration": {
"vectorKnowledgeBaseConfiguration": {
"embeddingModelArn": "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-2-multimodal-embeddings-v1:0",
"supplementalDataStorageConfiguration": {
"storageLocations": [
{
"type": "S3",
"s3Location": {
"uri": "s3:///"
}
}
]
}
},
"type": "VECTOR"
},
"storageConfiguration": {
"opensearchServerlessConfiguration": {
"collectionArn": "arn:aws:aoss:us-east-1::collection/",
"vectorIndexName": "",
"fieldMapping": {
"vectorField": "",
"textField": "",
"metadataField": ""
}
},
"type": "OPENSEARCH_SERVERLESS"
},
"name": "",
"description": "Multimodal knowledge base with Nova Multimodal Embeddings"
}
```
Remplacez les espaces réservés suivants :
+ ``- Compartiment S3 pour le stockage de fichiers multimodaux
+ ``- Votre identifiant de compte AWS
+ ``- ID de collecte OpenSearch sans serveur
+ ``- Nom de l'index vectoriel dans votre OpenSearch collection (configuré avec les dimensions appropriées pour le modèle d'intégration que vous avez choisi)
+ ``- Nom du champ pour le stockage des intégrations
+ ``- Nom du champ pour stocker le contenu du texte
+ ``- Nom du champ pour le stockage des métadonnées
------
# Ajouter des sources de données et démarrer l'ingestion
Après avoir créé votre base de connaissances, ajoutez des sources de données contenant votre contenu multimodal et lancez des tâches d'ingestion pour traiter et indexer le contenu.
**Comportement de suppression des sources de données**
Lorsque vous supprimez une source de données avec la politique de suppression définie sur RETAIN, le contenu ingéré reste dans la base de données vectorielle et continuera d'être utilisé pour la récupération. Le contenu n'est supprimé que si vous synchronisez explicitement la base de connaissances après avoir supprimé la source de données. Les sources de données dotées de la politique DELETE par défaut supprimeront automatiquement le contenu de la base de données vectorielle et le stockage supplémentaire lors de la suppression. Cela garantit que votre base de connaissances continue de fonctionner même si les fichiers source sont modifiés ou supprimés, mais vous devez savoir que les sources de données supprimées conformément à la politique RETAIN peuvent toujours contribuer aux résultats de recherche.
## Ajouter des sources de données
Ajoutez des sources de données contenant votre contenu multimodal à votre base de connaissances.
**Important**
Pour les sources de données BDA : seules les sources de données créées après le lancement du audio/video support traiteront les fichiers audio et vidéo. Les sources de données BDA existantes créées avant le lancement de cette fonctionnalité continueront d'ignorer les fichiers audio et vidéo. Pour permettre audio/video le traitement des bases de connaissances existantes, créez de nouvelles sources de données.
------
#### [ Console ]
**Pour ajouter une source de données depuis la console**
1. Sur la page de détails de votre base de connaissances, sélectionnez **Ajouter une source de données**.
1. Choisissez **Amazon S3** comme type de source de données.
1. Donnez un nom et une description à votre source de données.
1. Configurez l'emplacement Amazon S3 contenant vos fichiers multimodaux en fournissant l'URI du compartiment et les éventuels préfixes d'inclusion.
1. Sous **Analyse et segmentation du contenu**, configurez vos méthodes d'analyse et de segmentation :
**Note**
Les modèles d'intégration de texte limitent l'extraction au contenu uniquement textuel, mais vous pouvez activer la récupération multimodale via du texte en sélectionnant Amazon Bedrock Data Automation (pour l'audio, la vidéo et les images) ou Foundation Model comme analyseurs (pour les images).
Choisissez l'une des trois stratégies d'analyse syntaxique suivantes :
+ **Analyseur par défaut Bedrock :** recommandé pour l'analyse du texte uniquement. Cet analyseur ignore le contenu multimodal et est couramment utilisé avec les modèles d'intégration multimodaux.
+ **Bedrock Data Automation en tant qu'analyseur :** permet d'analyser et de stocker du contenu multimodal sous forme de texte, de support, d'images PDFs, de fichiers audio et vidéo.
+ **Modèle de base en tant qu'analyseur :** fournit une analyse avancée pour les images et les documents structurés, les supports PDFs, les images, les tableaux et les documents visuellement riches.
1. Choisissez **Ajouter une source de données** pour créer la source de données.
------
#### [ CLI ]
**Pour ajouter une source de données à l'aide du AWS CLI**
+ Créez une source de données pour votre contenu multimodal. Envoyez une [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateDataSource.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateDataSource.html)demande :
```
aws bedrock-agent create-data-source \
--knowledge-base-id \
--cli-input-json file://ds-multimodal.json
```
Pour les intégrations multimodales Nova (aucune configuration d'analyse spéciale n'est requise), utilisez ce contenu : `ds-multimodal.json`
```
{
"dataSourceConfiguration": {
"type": "S3",
"s3Configuration": {
"bucketArn": "arn:aws:s3:::",
"inclusionPrefixes": [""]
}
},
"name": "multimodal_data_source",
"description": "Data source with multimodal content",
"dataDeletionPolicy": "RETAIN"
}
```
Pour l'approche d'analyse BDA, utilisez cette configuration :
```
{
"dataSourceConfiguration": {
"type": "S3",
"s3Configuration": {
"bucketArn": "arn:aws:s3:::",
"inclusionPrefixes": [""]
}
},
"name": "multimodal_data_source_bda",
"description": "Data source with BDA multimodal parsing",
"dataDeletionPolicy": "RETAIN",
"vectorIngestionConfiguration": {
"parsingConfiguration": {
"bedrockDataAutomationConfiguration": {
"parsingModality": "MULTIMODAL"
}
}
}
}
```
------
## Lancement d’une tâche d’ingestion
Après avoir ajouté vos sources de données, lancez une tâche d'ingestion pour traiter et indexer votre contenu multimodal.
------
#### [ Console ]
**Pour démarrer l'ingestion depuis la console**
1. Sur la page de détails de votre source de données, choisissez **Sync**.
1. Surveillez l'état de synchronisation sur la page de la source de données. L'ingestion peut prendre plusieurs minutes en fonction de la taille et du nombre de vos fichiers multimodaux.
1. Une fois la synchronisation terminée, votre contenu multimodal est prêt à être interrogé.
------
#### [ CLI ]
**Pour commencer l'ingestion à l'aide du AWS CLI**
1. Commencez une opération d'ingestion. Envoyez une [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_StartIngestionJob.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_StartIngestionJob.html)demande :
```
aws bedrock-agent start-ingestion-job \
--knowledge-base-id \
--data-source-id
```
Remplacez les espaces réservés par :
+ ``- Identifiant issu de la création de la base de connaissances
+ ``- ID issu de la création de la source de données
1. Surveillez l'état de la tâche d'ingestion à l'aide de [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_GetIngestionJob.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_GetIngestionJob.html).
------
## Resynchronisation après suppression de la source de données
Si vous supprimez une source de données et souhaitez supprimer son contenu de la base de connaissances, vous devez resynchroniser explicitement la base de connaissances :
**Pour supprimer le contenu d'une source de données supprimée**
1. Supprimez la source de données à l'aide de la console ou de [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_DeleteDataSource.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_DeleteDataSource.html)l'API.
1. Lancez une nouvelle tâche d'ingestion sur toutes les sources de données restantes pour mettre à jour la base de données vectorielle et supprimer le contenu de la source de données supprimée.
1. Vérifiez que les requêtes ne renvoient plus de résultats à partir de la source de données supprimée.
**Note**
Sans resynchronisation, le contenu des sources de données supprimées continuera d'apparaître dans les résultats de recherche même si la source de données n'existe plus.
# Tester et interroger des bases de connaissances multimodales
Après avoir ingéré votre contenu multimodal, vous pouvez tester et interroger votre base de connaissances à l'aide de la console ou de l'API. Les types de requêtes disponibles dépendent de l'approche de traitement que vous avez choisie.
------
#### [ Console ]
**Pour tester votre base de connaissances depuis la console**
1. Depuis la page de détails de votre base de connaissances, accédez à la section **Tester la base de connaissances**.
1. Choisissez votre type de requête :
+ **Extraction standard uniquement : recherchez** et récupérez des informations à partir de sources de données dans une base de connaissances unique.
+ **Extraction et génération de réponses :** interrogez une base de connaissances unique et générez des réponses basées sur les résultats récupérés en utilisant un modèle de base.
**Note**
Si vous avez du contenu multimodal, vous devez utiliser l'analyseur BDA pour la récupération et la génération de réponses.
1. Configurez des options supplémentaires selon vos besoins :
+ **Fragments source :** Spécifiez le nombre maximum de fragments source à renvoyer
+ **Type de recherche :** sélectionnez le type de recherche pour personnaliser la stratégie de requête
+ **Filtres de métadonnées :** appliquez des filtres pour affiner les résultats de recherche
+ **Rambardes :** sélectionnez un garde-corps existant ou créez-en un nouveau
1. Entrez une requête textuelle ou téléchargez une image (Nova Multimodal Embeddings uniquement) pour rechercher votre contenu multimodal. Utilisez le bouton de pièce jointe pour télécharger des images à des fins de recherche de similarité visuelle.
1. Passez en revue les résultats, notamment :
+ Morceaux de contenu récupérés avec des scores de pertinence
+ Références et horodatages du fichier source (pour l'audio/vidéo)
+ Métadonnées, y compris les types de fichiers et les informations de traitement
+ Pour le contenu multimédia, commandes de lecture avec positionnement automatique des segments en fonction des horodatages récupérés
------
#### [ API ]
Les exemples suivants montrent comment utiliser l'API Amazon Bedrock Agent Runtime pour interroger votre base de connaissances multimodale par programmation :
**Exemple de requête textuelle**
Recherche par saisie de texte :
```
aws bedrock-agent-runtime retrieve \
--knowledge-base-id \
--retrieval-query text="robot automation in manufacturing"
```
**Exemple de requête d'image (Nova Multimodal Embeddings uniquement)**
Effectuez une recherche à l'aide d'une image téléchargée :
```
{
"knowledgeBaseId": "",
"retrievalQuery": {
"imageQuery": {
"inlineContent": {
"mimeType": "image/jpeg",
"data": ""
}
}
}
}
```
------
## Types de requêtes pris en charge
**Requêtes textuelles**
Soutenu à la fois par les approches Nova Multimodal Embeddings et BDA. Effectuez une recherche à l'aide de texte en langage naturel pour trouver du contenu pertinent sur tous les types de médias.
**Requêtes sur les images**
Compatible uniquement avec Nova Multimodal Embeddings. Téléchargez des images pour trouver du contenu visuellement similaire dans votre base de connaissances.
## Comprendre les métadonnées des réponses
Les réponses aux requêtes multimodales incluent des métadonnées supplémentaires pour le contenu multimédia :
**Attribution de la source**
Emplacement du fichier d'origine (SourceURI) et emplacement de stockage multimodal (SupplementalURI) pour un accès fiable
**Métadonnées temporelles**
Horodatages de début et de fin pour les segments audio et vidéo, permettant une navigation précise vers le contenu pertinent
**Informations sur le type de contenu**
Indicateurs de format de fichier, de méthode de traitement et de modalité pour aider les applications à gérer les différents types de contenu de manière appropriée
**Structure des métadonnées de base de données vectorielles**
Lorsque le contenu multimodal est traité et stocké, la structure de métadonnées suivante est utilisée dans la base de données vectorielle :
+ **champ de texte :** pour les fichiers multimédia traités avec Nova Multimodal Embeddings, ce champ contient une chaîne vide car le contenu est intégré en tant que contenu multimédia natif plutôt que sous forme de texte
+ **champ de métadonnées :** contient des informations structurées, notamment les détails de la source et les références de contenu associées :
```
{
"source": {
"sourceType": "S3",
"s3Location": {
"uri": "s3://source-bucket/path/to/file.mp4"
}
},
"relatedContent": [{
"type": "S3",
"s3Location": {
"uri": "s3://multimodal-storage-bucket/processed/file.mp4"
}
}]
}
```
+ **Champs créés automatiquement : champs** supplémentaires pour le filtrage et l'identification :
+ `x-amz-bedrock-kb-source-uri`: URI source d'origine pour les opérations de filtrage
+ `x-amz-bedrock-kb-data-source-id`: identifiant de source de données pour suivre l'origine du contenu
+ `x-amz-bedrock-kb-chunk-start-time-in-millis`: horodatage de début en millisecondes pour les segments audio et vidéo
+ `x-amz-bedrock-kb-chunk-end-time-in-millis`: horodatage de fin en millisecondes pour les segments audio et vidéo
+ `x-amz-bedrock-kb-source-file-mime-type`: type MIME du fichier source
+ `x-amz-bedrock-kb-source-file-modality`: Modalité du fichier source (TEXTE, IMAGE, AUDIO, VIDÉO)
**Important**
Les applications doivent utiliser les horodatages fournis pour extraire et lire des segments spécifiques à partir de fichiers audio et vidéo. La base de connaissances renvoie des références à des fichiers complets, et non à des clips présegmentés.
# Dépannage des bases de connaissances multimodales
Cette section fournit des conseils pour résoudre les problèmes courants rencontrés lors de l'utilisation de bases de connaissances multimodales. Les informations de dépannage sont organisées en fonction des limites générales, des scénarios d'erreur courants avec leurs causes et solutions, et des recommandations d'optimisation des performances. Utilisez ces informations pour diagnostiquer et résoudre les problèmes lors de la configuration, de l'ingestion ou de l'interrogation de votre contenu multimodal.
## Limitations générales
Tenez compte des limites actuelles lorsque vous travaillez avec des bases de connaissances multimodales :
+ **Limites de taille de fichier :** 1,5 Go maximum par fichier vidéo, 1 Go par fichier audio (Nova Multimodal Embeddings) ou 1,5 Go par fichier (BDA)
+ **Fichiers par tâche d'ingestion :** maximum 15 000 fichiers par tâche (Nova Multimodal Embeddings) ou 1 000 fichiers par tâche (BDA)
+ **Limites de requêtes :** maximum d'une image par requête
+ **Restrictions relatives aux sources de données :** seuls Amazon S3 et les sources de données personnalisées prennent en charge le contenu multimodal
+ **Limites du découpage BDA :** lorsque vous utilisez Bedrock Data Automation avec un découpage de taille fixe, les paramètres de pourcentage de chevauchement ne sont pas appliqués au contenu audio et vidéo
+ Limites de **tâches BDA simultanées : limite** par défaut de 20 tâches BDA simultanées. Pour un traitement à grande échelle, envisagez de demander une augmentation du quota de service
+ **Limites du modèle de reclassement : les** modèles de reclassement ne sont pas pris en charge pour le contenu multimodal
+ **Limites de synthèse :** la synthèse des réponses de récupération contenant du contenu non textuel n'est pas prise en charge
+ **Limites de saisie des requêtes :** les entrées contenant à la fois du texte et des images ne sont actuellement pas prises en charge. Vous pouvez utiliser des requêtes sous forme de texte ou d'image, mais pas les deux simultanément.
+ **Filtres de contenu d'image de garde-corps :** lorsque vous utilisez des requêtes d'image avec un garde-corps sur lequel des filtres de contenu d'image sont configurés, l'image d'entrée est évaluée par rapport au garde-corps et peut être bloquée si elle dépasse les seuils de filtre configurés
+ **Incompatibilité de saisie et de type :** par défaut, l'entrée est supposée être du texte lorsque le type n'est pas spécifié. Lorsque vous utilisez des modalités autres que le texte, vous devez spécifier le type correct
## Erreurs courantes et solutions
Si vous rencontrez des problèmes avec votre base de connaissances multimodale, passez en revue les scénarios courants suivants :
**Erreur 4xx lors de l'utilisation de requêtes d'image**
**Cause :** tentative d'utilisation de requêtes d'image avec des modèles incorporant uniquement du texte ou des bases de connaissances traitées par BDA.
**Solution :** Choisissez Amazon Nova Multimodal Embeddings lors de la création de votre base de connaissances pour la prise en charge des requêtes d'images.
**RAG renvoie une erreur 4xx avec un contenu multimodal**
**Cause :** utilisation `RetrieveAndGenerate` avec une base de connaissances contenant uniquement du contenu multimodal et le modèle Amazon Nova Multimodal Embeddings.
**Solution :** utilisez l'analyseur BDA pour les fonctionnalités RAG ou assurez-vous que votre base de connaissances contient du texte.
**Erreur de destination de stockage multimodale requise**
**Cause :** utilisation de Nova Multimodal Embeddings sans configurer de destination de stockage multimodale.
**Solution :** Spécifiez une destination de stockage multimodale lors de l'utilisation de Nova Multimodal Embeddings.
**La source de données et le stockage multimodal utilisent le même compartiment S3**
**Cause :** Configuration de votre source de données et de votre destination de stockage multimodal pour utiliser le même compartiment Amazon S3 sans préfixes d'inclusion appropriés.
**Solution :** utilisez des compartiments distincts pour la source de données et le stockage multimodal, ou configurez des préfixes d'inclusion pour empêcher la réingestion des fichiers multimédias extraits.
**Le préfixe d'inclusion ne peut pas commencer par « aws/ »**
**Cause :** utilisation d'un préfixe d'inclusion commençant par « aws/ » lorsque votre source de données et votre destination de stockage multimodal partagent le même compartiment Amazon S3.
**Solution :** Spécifiez un autre préfixe d'inclusion. Le chemin « aws/ » est réservé au stockage des médias extraits et ne peut pas être utilisé comme préfixe d'inclusion pour éviter de réingérer le contenu traité.
**L'ingestion de BDA ignore le contenu multimodal**
**Cause :** La base de connaissances a été créée sans destination de stockage multimodale, puis une source de données BDA a été ajoutée avec un contenu multimodal.
**Solution : Recréez** la base de connaissances avec une destination de stockage multimodale configurée pour permettre le traitement BDA de fichiers audio, vidéo et image.
**Base de connaissances créée sans modèle d'intégration multimodal**
**Cause :** La base de connaissances a été créée avec un modèle d'intégration contenant uniquement du texte, ce qui limite les capacités multimodales.
**Solution :** Créez une nouvelle base de connaissances avec Nova Multimodal Embeddings pour permettre le traitement multimodal natif et les requêtes basées sur des images.
## Gestion des données transitoires avec les politiques de cycle de vie d'Amazon S3
Lorsque vous utilisez Nova Multimodal Embeddings, Amazon Bedrock stocke les données transitoires dans votre destination de stockage multimodal et tente de les supprimer une fois le traitement terminé. Nous recommandons d'appliquer une politique de cycle de vie au chemin de données transitoire afin de garantir qu'il est correctement expiré.
------
#### [ Console ]
**Pour créer une règle de cycle de vie à l'aide de la console**
1. Ouvrez la [console Amazon S3](https://console.aws.amazon.com/s3).
1. Accédez à la destination de stockage multimodale que vous avez configurée pour votre base de connaissances.
1. Choisissez l'onglet **Gestion**, puis sélectionnez **Créer une règle de cycle de vie**.
1. Pour le **nom de la règle du cycle** de vie, entrez**Transient Data Deletion**.
1. Sous **Type de filtre**, choisissez **Limiter la portée de cette règle à l'aide d'un ou de plusieurs filtres**.
1. Dans **Préfixe**, entrez le chemin de données transitoire pour votre base de connaissances et votre source de données.
Remplacez les valeurs d'espace réservé du préfixe suivant par vos identifiants réels :
```
aws/bedrock/knowledge_bases/knowledge-base-id/data-source-id/transient_data
```
**Important**
N'appliquez pas de politiques de cycle de vie à l'ensemble du compartiment ou au préfixe « aws/ », car cela supprimerait votre contenu multimodal et provoquerait des échecs de récupération. Utilisez uniquement le chemin de données transitoire spécifique indiqué ci-dessus.
1. Sous **Actions relatives aux règles du cycle** de vie, sélectionnez **Expirer les versions actuelles des objets**.
1. Pour **Jours après la création de l'objet**, entrez**1**.
1. Choisissez **Créer une règle**.
------
#### [ AWS CLI ]
**Pour créer une règle de cycle de vie à l'aide du AWS CLI**
1. Créez un fichier JSON nommé `lifecycle-policy.json` avec le contenu suivant.
Remplacez les valeurs de l'espace réservé par vos identifiants réels :
+ *knowledge-base-id*- L'identifiant de votre base de connaissances
+ *data-source-id*- L'identifiant de votre source de données
```
{
"Rules": [
{
"ID": "TransientDataDeletion",
"Status": "Enabled",
"Filter": {
"Prefix": "aws/bedrock/knowledge_bases/knowledge-base-id/data-source-id/transient_data"
},
"Expiration": {
"Days": 1
}
}
]
}
```
1. Appliquez la politique de cycle de vie à votre compartiment. Remplacez *your-multimodal-storage-bucket* par le nom de votre compartiment :
```
aws s3api put-bucket-lifecycle-configuration \
--bucket your-multimodal-storage-bucket \
--lifecycle-configuration file://lifecycle-policy.json
```
1. Vérifiez que la politique de cycle de vie a été appliquée :
```
aws s3api get-bucket-lifecycle-configuration \
--bucket your-multimodal-storage-bucket
```
------
Pour plus d'informations sur les politiques de cycle de vie d'Amazon S3, consultez [Gérer le cycle de vie des objets](https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-lifecycle-mgmt.html) dans le *guide de l'utilisateur d'Amazon S3*.
## Considérations sur les performances
Pour optimiser les performances de votre base de connaissances multimodale, tenez compte des facteurs suivants :
+ **Temps de traitement : le traitement** BDA prend plus de temps en raison de la conversion du contenu
+ **Latence des requêtes :** les requêtes d'image peuvent avoir une latence plus élevée que les requêtes de texte
+ **Durée du découpage : des durées de segments** audio/vidéo plus longues augmentent le temps de traitement mais peuvent améliorer la précision