Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Optimisez vos plans grâce à Ground Truth
Vous pouvez améliorer la précision du plan en fournissant des exemples de ressources de contenu avec les bons résultats attendus. L'optimisation des instructions du plan utilise vos exemples pour affiner les instructions en langage naturel dans les champs de votre plan, ce qui améliore la précision de vos résultats d'inférence.
L'optimisation des instructions du plan fonctionne mieux lorsque vous devez extraire des valeurs spécifiques qui apparaissent directement dans vos documents, telles que les numéros de facture, les montants des contrats ou les champs des formulaires fiscaux. Nous vous recommandons de fournir 3 à 10 exemples de ressources représentant les documents que vous traitez en production, en particulier ceux pour lesquels vous avez rencontré des problèmes de précision.
Comment fonctionne l'optimisation des instructions du plan
L'optimisation des instructions Blueprint analyse les différences entre les résultats attendus et les résultats d'inférence initiaux. Le service affine de manière itérative les instructions en langage naturel pour chaque champ de votre plan jusqu'à ce que les instructions produisent des résultats plus précis pour vos exemples de ressources. Ce processus s'effectue en quelques minutes sans nécessiter de formation ou de réglage précis du modèle.
Lorsque vous lancez votre processus d'optimisation, vous fournissez vos exemples d'actifs et les données de base correspondantes, c'est-à-dire les valeurs correctes que vous souhaitez extraire pour chaque champ. L'optimisation des instructions Blueprint compare ces valeurs aux résultats d'inférence et ajuste les descriptions des champs pour améliorer la précision. Une fois l'optimisation terminée, vous recevez des indicateurs de précision qui montrent l'amélioration de la précision, notamment les taux de correspondance exacts et les scores F1 mesurés par rapport à votre réalité de terrain.
Ce dont vous avez besoin avant de commencer à optimiser vos plans
Un plan avec des champs définis. Créez un plan à l'aide de la console ou de l'API. Votre plan doit inclure les noms des champs et les descriptions initiales des données que vous souhaitez extraire.
Exemples de ressources de contenu. Rassemblez 3 à 10 actifs documentaires qui représentent votre charge de travail de production sur les documents. Choisissez des exemples contenant tous les champs de votre plan.
Résultats attendus pour vos exemples. Préparez les valeurs correctes que vous souhaitez extraire de chaque exemple de ressource. Vous pouvez saisir ces valeurs manuellement lors de l'optimisation ou les télécharger à l'aide d'un fichier manifeste.
Emplacement d'un compartiment S3. Spécifiez un compartiment S3 dans lequel vous souhaitez stocker vos exemples d'actifs et vos données de base. Vous pouvez fournir votre propre bucket ou autoriser le service à en créer un pour vous.
Step-by-step processus pour optimiser votre plan
Pour optimiser votre plan, commencez par la page détaillée du plan dans la console Amazon Bedrock Data Automation. Notez que cela n'est disponible que pour votre modalité de document.
Étape 1. Sélectionnez Optimiser le plan pour démarrer le flux de travail d'optimisation.
Étape 2. Téléchargez vos exemples de ressources. Choisissez jusqu'à 10 ressources de contenu depuis votre appareil local ou depuis un emplacement S3. Le service télécharge vos actifs et affiche des miniatures pour chaque fichier. Si vous avez déjà optimisé ce plan, vous pouvez ajouter de nouveaux exemples ou supprimer des exemples existants.
Étape 3. Fournissez des informations de base pour chaque actif. Sélectionnez une ressource pour ouvrir l'éditeur Ground Truth. L'éditeur affiche l'aperçu de votre document sur la gauche et un tableau simplifié des champs de votre plan sur la droite. Pour chaque champ, entrez la valeur correcte que vous souhaitez extraire dans la colonne Ground Truth.
Étape 4 : Pour accélérer la saisie de la vérité sur le terrain, sélectionnez Remplissage automatique pour effectuer une première inférence sur vos actifs et remplir automatiquement la colonne Ground Truth à partir des valeurs de votre colonne Résultats. Modifiez les valeurs incorrectes avant de continuer.
Étape 5. Lancez l'optimisation. Une fois que vous avez terminé la saisie des informations de base pour tous les actifs sélectionnés, choisissez Commencer l'optimisation. L'automatisation des données analyse vos exemples et affine les instructions en langage naturel pour chaque champ. Un indicateur de progression indique l'état de l'optimisation avec des messages tels que « Lire vos ressources » et « Itérer selon les instructions en langage naturel du plan ».
Étape 6. Passez en revue les indicateurs d'évaluation. Une fois l'optimisation terminée, la section Mesures affiche les mesures de précision de votre plan. Les métriques comparent les performances avant et après l'optimisation. Passez en revue le score F1 global, le score de confiance et le taux de correspondance exact pour déterminer si le plan répond à vos exigences de précision.
L'onglet Mesures par fichier d'exemple indique la précision au niveau du champ pour chaque exemple d'actif. Utilisez ces indicateurs pour identifier les champs améliorés et ceux qui peuvent nécessiter des exemples supplémentaires ou un affinement manuel.
Étape 7. Optimisation complète. Si les mesures d'évaluation répondent à vos exigences, sélectionnez Enregistrer le plan optimisé pour promouvoir le plan optimisé en production. Votre plan utilise désormais les instructions affinées en langage naturel pour toutes les futures demandes d'inférence.
Réoptimisez votre plan
Vous pouvez réoptimiser un plan à tout moment pour améliorer encore la précision. Retournez à la page détaillée du plan et sélectionnez Optimiser le plan. Le service affiche les actifs que vous avez précédemment utilisés pour l'optimisation ainsi que leurs valeurs fondamentales.
Pour réoptimiser, vous pouvez ajouter de nouveaux exemples d'actifs, modifier les valeurs de base des actifs existants ou supprimer des actifs qui ne représentent plus votre charge de travail. Lorsque vous sélectionnez Démarrer l'optimisation, l'optimisation des instructions du plan est calculée par rapport à vos instructions de plan actuelles par rapport aux nouvelles instructions.
Modifier un plan après l'optimisation
Si vous ajoutez ou supprimez des champs dans un plan optimisé, le service supprime l'historique d'optimisation et les exemples de ressources associés. Avant de procéder à la modification, téléchargez le fichier manifeste qui contient l'emplacement de vos actifs et les étiquettes Ground Truth. Le fichier manifeste utilise le format JSON et inclut tous les champs et valeurs de vérité de base de votre optimisation précédente. Pour préserver votre travail d'optimisation, téléchargez le fichier manifeste lorsque vous réoptimisez le plan modifié. L'automatisation des données applique automatiquement des valeurs de vérité sur le terrain aux champs correspondants. Les champs qui n'existent plus dans le plan sont supprimés du manifeste. Les nouveaux champs n'ont pas de valeurs de vérité fondamentale tant que vous ne les avez pas fournies.
Gérez les coûts d'optimisation
L'optimisation des instructions du plan entraîne des coûts d'inférence, comme vous le feriez si vous modifiiez manuellement vos instructions en langage naturel et les testiez de manière itérative par rapport à chaque exemple de document. Pour un calcul approximatif, le nombre de pages que vous fournissez à titre d'exemple sera le nombre de pages qui seront facturées au fur et à mesure que vous optimiserez votre plan. Chaque exécution d'optimisation traite plusieurs fois vos exemples de ressources afin d'affiner les instructions. Pour minimiser les coûts, commencez par 3 à 5 exemples pour votre optimisation initiale. Ajoutez d'autres exemples lorsque vous inspectez les indicateurs d'évaluation et que vous pensez avoir besoin d'améliorations supplémentaires en termes de précision.
En outre, les instructions en langage naturel optimisées ont tendance à être plus longues et plus détaillées que les instructions d'origine, ce qui peut augmenter les coûts d'inférence d'exécution.
