Synchronisation de vos données avec votre base de connaissances Amazon Bedrock - Amazon Bedrock

Synchronisation de vos données avec votre base de connaissances Amazon Bedrock

Après avoir créé votre base de connaissances, vous devez ingérer ou synchroniser vos données afin qu’elles puissent être interrogées. L’ingestion convertit les données brutes de votre source de données en vectorisations, sur la base du modèle de vectorisation et des configurations que vous avez spécifiés.

Avant de commencer l’ingestion, vérifiez que votre source de données remplit les conditions suivantes :

  • Vous avez configuré les informations de connexion pour votre source de données. Pour configurer un connecteur de source de données afin d’analyser vos données depuis votre référentiel de sources de données, consultez Connecteurs de source de données pris en charge. Vous configurez votre source de données dans le cadre de la création de votre base de connaissances.

  • Vous avez configuré le modèle de vectorisation et le magasin de vecteurs que vous avez choisis. Consultez les modèles de vectorisation pris en charge et les magasins de vecteurs pour les bases de connaissances. Vous configurez vos vectorisations dans le cadre de la création de votre base de connaissances.

  • Le format des fichiers est pris en charge. Pour plus d’informations, consultez Formats de documents pris en charge.

  • Les fichiers ne dépassent pas la taille des fichiers de tâche d’ingestion spécifiée dans Points de terminaison et quotas Amazon Bedrock dans les Références générales AWS.

  • Si votre source de données contient des fichiers de métadonnées, vérifiez les conditions suivantes pour vous assurer qu’ils ne sont pas ignorés :

    • Chaque fichier .metadata.json porte le même nom et la même extension que le fichier source auquel il est associé.

    • Si l’index vectoriel de votre base de connaissances se trouve dans un magasin de vecteurs Amazon OpenSearch sans serveur, vérifiez qu’il est configuré avec le moteur faiss. Si l’index vectoriel est configuré avec le moteur nmslib, vous devrez effectuer l’une des opérations suivantes :

    • Si l’index vectoriel de votre base de connaissances se trouve dans un cluster de bases de données Amazon Aurora, nous vous recommandons d’utiliser le champ de métadonnées personnalisées pour stocker toutes vos métadonnées dans une seule colonne et de créer un index sur cette colonne. Si vous ne fournissez pas de champ de métadonnées personnalisées, vous devez vérifier que le tableau de votre index contient une colonne pour chaque propriété de métadonnées de vos fichiers de métadonnées avant de commencer l’ingestion. Pour plus d’informations, consultez Conditions préalables à l’utilisation d’un magasin de vecteurs que vous avez créé pour une base de connaissances.

Chaque fois que vous ajoutez, modifiez ou supprimez des fichiers de votre source de données, vous devez synchroniser cette dernière afin qu’elle soit réindexée dans la base de connaissances. La synchronisation étant incrémentielle, Amazon Bedrock ne traite que les documents ajoutés, modifiés ou supprimés depuis la dernière synchronisation.

Pour découvrir comment intégrer vos données dans votre base de connaissances et les synchroniser avec vos données les plus récentes, choisissez l’onglet correspondant à votre méthode préférée, puis suivez les étapes :

Console
Pour intégrer vos données dans votre base de connaissances et les synchroniser avec vos données les plus récentes

  1. Ouvrez la console Amazon Bedrock à l’adresse https://console.aws.amazon.com/bedrock/.

  2. Dans le volet de navigation de gauche, sélectionnez Base de connaissances et choisissez votre base de connaissances.

  3. Dans la section Source de données, sélectionnez Synchroniser pour commencer l’ingestion de données ou la synchronisation avec vos données les plus récentes. Pour arrêter une source de données en cours de synchronisation, sélectionnez Arrêter. Une source de données doit être en cours de synchronisation pour arrêter la synchronisation de la source de données. Vous pouvez sélectionner à nouveau Synchroniser pour ingérer le reste de vos données.

  4. Lorsque l’ingestion de données est terminée, une bannière verte apparaît en cas de réussite.

    Note

    Une fois la synchronisation des données terminée, les vectorisations des données récemment synchronisées peuvent prendre quelques minutes pour apparaître dans votre base de connaissances et pouvoir être interrogées si vous utilisez un magasin de vecteurs autre qu’Amazon Aurora (RDS).

  5. Vous pouvez choisir une source de données pour afficher son historique de synchronisation. Sélectionnez Afficher les avertissements pour savoir pourquoi une tâche d’ingestion de données a échoué.

API

Pour intégrer vos données dans votre base de connaissances et les synchroniser avec vos données les plus récentes, envoyez une demande StartIngestionJob avec un point de terminaison de compilation pour agents Amazon Bedrock. Spécifiez knowledgeBaseId et dataSourceId. Vous pouvez également arrêter une tâche d’ingestion de données en cours d’exécution en envoyant une demande StopIngestionJob. Spécifiez dataSourceId, ingestionJobId et knowledgeBaseId. Une tâche d’ingestion de données doit être en cours d’exécution pour arrêter l’ingestion de données. Vous pouvez envoyer à nouveau une demande StartIngestionJob pour ingérer le reste de vos données lorsque vous serez prêt.

Utilisez le ingestionJobId renvoyé dans la réponse d’une demande GetIngestionJob avec un point de terminaison de compilation pour agents Amazon Bedrock afin de suivre l’état de la tâche d’ingestion. Spécifiez également knowledgeBaseId et dataSourceId.

  • Lorsque la tâche d’ingestion est terminée, l’élément status de la réponse indique COMPLETE.

    Note

    Une fois l’ingestion de données terminée, les vectorisations des données récemment ingérées peuvent prendre quelques minutes pour être disponibles dans le magasin de vecteurs afin pouvoir être interrogées si vous utilisez un magasin de vecteurs autre qu’Amazon Aurora (RDS).

  • L’objet statistics de la réponse renvoie des informations indiquant si l’ingestion a réussi ou non pour les documents dans la source de données.

Vous pouvez également consulter les informations relatives à toutes les tâches d’ingestion d’une source de données en envoyant une demande ListIngestionJobs avec un point de terminaison de compilation pour agents Amazon Bedrock au moment de la création. Spécifiez le dataSourceId et le knowledgeBaseId de la base de connaissances dans laquelle les données sont ingérées.

  • Filtrez les résultats en spécifiant le statut à rechercher dans l’objet filters.

  • Pour effectuer un tri en fonction de l’heure à laquelle la tâche a été lancée ou du statut d’une tâche, spécifiez l’objet sortBy. Vous pouvez spécifier un ordre de tri croissant ou décroissant.

  • Spécifiez le nombre maximum de résultats à renvoyer en réponse dans le champ maxResults. Si le nombre de résultats est supérieur à ce que vous avez défini, la réponse renvoie un nextToken que vous pouvez envoyer dans une autre demande ListIngestionJobs afin de voir le lot suivant de tâches.