View a markdown version of this page

Traitement multimodal natif - Amazon Bedrock
Comment fonctionne le traitement multimodal natifComment la base de connaissances invoque le modèle d'intégrationGestion des données transitoires avec les politiques de cycle de vie d'Amazon S3

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Traitement multimodal natif

Grâce au traitement multimodal natif, une base de connaissances Amazon Bedrock gérée envoie chaque fichier directement vers un modèle d'intégration multimodal. Le modèle crée ensuite des intégrations à partir de l'image brute, du contenu audio et vidéo.

Sans modèle d'intégration multimodal natif, une base de connaissances fonctionne différemment. Tout d'abord, il analyse vos fichiers. Ensuite, il découpe le texte qu'il en extrait. Enfin, il intègre ces morceaux dans un modèle d'intégration de texte.

Le traitement multimodal natif ignore l'analyse et l'extraction de texte. Par conséquent, il conserve les détails visuels et audio que l'extraction de texte perdrait.

Pour activer le traitement multimodal natif, choisissez un modèle d'intégration multimodal natif lorsque vous créez la base de connaissances. Actuellement, TwelveLabs Marengo Embed 3.0 (twelvelabs.marengo-embed-3-0-v1:0) est le seul modèle que vous pouvez choisir. Pour obtenir des instructions sur sa configuration, consultezCréation d’une base de connaissances gérée.

Comment fonctionne le traitement multimodal natif

Lorsque vous configurez une base de connaissances avec un modèle d'intégration multimodal natif, les règles suivantes s'appliquent :

  • Seule la stratégie d'MULTI_MODAL_EMBEDDINGSanalyse est prise en charge. Vous ne pouvez pas combiner un modèle d'intégration multimodal natif avec d'autres stratégies d'analyse.

  • Les fichiers sont envoyés directement au modèle d'intégration. Le modèle d'intégration traite le fichier brut et produit des intégrations à partir de son contenu natif.

  • Text-based les stratégies de découpage ne sont pas prises en charge. Comme vos fichiers ne sont pas analysés en texte, les stratégies de découpage qui s'appliquent au texte, telles que le découpage par défaut et le découpage de taille fixe, ne s'appliquent pas.

  • Vous pouvez configurer la segmentation pour l'audio et la vidéo. Au lieu d'adopter une stratégie de découpage du texte, vous choisissez comment la base de connaissances divise les fichiers audio et vidéo en segments. Utilisez les paramètres de segmentation du modelConfiguration champ. Pour de plus amples informations, veuillez consulter Création d’une base de connaissances gérée.

  • Seuls les types de fichiers pris en charge par le modèle sont pris en charge. Une base de connaissances configurée avec un modèle d'intégration multimodal natif ne peut ingérer que les types de fichiers acceptés par le modèle. Pour connaître les types de fichiers et les autres paramètres pris TwelveLabs Marengo Embed 3.0 en charge, consultezTwelveLabs Marengo Intégrer 3.0.

  • Vous devez fournir une destination de stockage multimodale. Indiquez un emplacement Amazon S3 pour que la base de connaissances traite et ingère votre contenu. Les bases de connaissances Amazon Bedrock créent un dossier de aws/ préfixes dans votre compartiment. Utilisez un compartiment différent de celui de votre source de données. Pour les autorisations dont le rôle de service a besoin, consultezAutorisations pour votre destination de stockage multimodal.

  • Seule l'RetrieveAPI est prise en charge. Vous interrogez une base de connaissances qui utilise un modèle d'intégration multimodal natif avec l'Retrieveopération. L'RetrieveAndGenerateopération n'est pas prise en charge.

  • Les requêtes doivent être du texte. Vous interrogez votre contenu multimodal à l'aide de texte. Les requêtes d'images ne sont pas prises en charge.

Pour plus de détails sur les métadonnées que l'Retrieveopération renvoie pour les résultats multimodaux et sur la manière de récupérer le fichier correspondant, consultez. Récupérez les réponses pour les bases de connaissances multimodales natives

Comment la base de connaissances invoque le modèle d'intégration

Lorsque vous utilisez un modèle d'intégration multimodal natif, votre base de connaissances invoque ce modèle de manière synchrone et asynchrone. Il utilise un appel synchrone lorsque vous soumettez une requête et un appel asynchrone lorsqu'il ingère votre contenu. Votre rôle de service nécessite des autorisations pour les deux. Pour plus d'informations sur la politique à joindre, consultezAutorisations d'accès aux modèles Amazon Bedrock.

Note

Dans certains cas Régions AWS, le TwelveLabs Marengo Embed 3.0 modèle prend en charge l'invocation synchrone uniquement via un profil d'inférence. L'appel asynchrone utilise toujours le modèle à la demande. Dans ces régions, spécifiez un profil d'inférence lorsque vous créez la base de connaissances. La base de connaissances utilise ensuite à la fois le profil d'inférence et le modèle à la demande pour traiter votre contenu. Votre rôle de service nécessite des autorisations pour les deux.

Pour vérifier comment TwelveLabs Marengo Embed 3.0 est pris en charge le Région AWS contenu que vous utilisez, consultezTwelveLabs Marengo Intégrer 3.0.

Gestion des données transitoires avec les politiques de cycle de vie d'Amazon S3

Pendant qu'Amazon Bedrock Knowledge Bases traite votre contenu, elle stocke les données transitoires dans votre destination de stockage multimodal. Il tente de supprimer ces données une fois le traitement terminé. Pour garantir l'expiration des données, nous vous recommandons d'appliquer une politique de cycle de vie au chemin de données transitoire.

Console
Pour créer une règle de cycle de vie à l'aide de la console

  1. Ouvrez la console Amazon S3.

  2. Accédez à la destination de stockage multimodal que vous avez configurée pour votre base de connaissances.

  3. Cliquez sur l'onglet Gestion, puis sur Créer une règle de cycle de vie.

  4. Dans le champ Nom de la règle de cycle de vie, entrezTransient Data Deletion.

  5. Sous Type de filtre, choisissez Limiter la portée de cette règle à l'aide d'un ou de plusieurs filtres.

  6. Dans le champ Préfixe, entrez le chemin de données transitoires pour votre base de connaissances et votre source de données.

    Remplacez les valeurs d'espace réservé dans le préfixe suivant par vos identifiants réels :

    aws/bedrock/knowledge_bases/knowledge-base-id/data-source-id/transient_data
    Ne supprimez pas le contenu multimodal

    N'appliquez pas de politiques de cycle de vie à l'ensemble du bucket ou au aws/ préfixe, car cela supprimerait votre contenu multimodal et pourrait entraîner des échecs de traitement. Utilisez uniquement le chemin de données transitoires illustré dans l'exemple de préfixe précédent.

  7. Sous Actions relatives aux règles de cycle de vie, sélectionnez Expirer les versions actuelles des objets.

  8. Dans le champ Jours suivant la création de l'objet, saisissez1.

  9. Choisissez Créer une règle.

AWS CLI
Pour créer une règle de cycle de vie à l'aide du AWS CLI

  1. Créez un fichier JSON lifecycle-policy.json dont le contenu est le suivant, en remplaçant les valeurs des espaces réservés par vos identifiants réels :

    • knowledge-base-id— Identifiant de votre base de connaissances

    • data-source-id— L'identifiant de votre source de données

    {
    "Rules": [
        {
            "ID": "TransientDataDeletion",
            "Status": "Enabled",
            "Filter": {
                "Prefix": "aws/bedrock/knowledge_bases/knowledge-base-id/data-source-id/transient_data"
            },
            "Expiration": {
                "Days": 1
            }
        }
    ]
}

  2. Appliquez la politique de cycle de vie à votre bucket. Remplacez amzn-s3-demo-bucket par le nom de votre seau de stockage multimodal :

    aws s3api put-bucket-lifecycle-configuration \
    --bucket amzn-s3-demo-bucket \
    --lifecycle-configuration file://lifecycle-policy.json

  3. Vérifiez que la politique de cycle de vie a été appliquée :

    aws s3api get-bucket-lifecycle-configuration \
    --bucket amzn-s3-demo-bucket

Pour plus d'informations sur les politiques de cycle de vie d'Amazon S3, consultez la section Gestion du cycle de vie des objets dans le guide de l'utilisateur Amazon S3.