Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Optimieren Sie Ihre Pläne mit Ground Truth

Sie können die Genauigkeit der Blueprints verbessern, indem Sie Beispielinhalte mit den korrekten erwarteten Ergebnissen bereitstellen. Die Optimierung von Blueprint-Anweisungen verwendet Ihre Beispiele, um die Anweisungen in natürlicher Sprache in Ihren Blueprint-Feldern zu verfeinern, wodurch die Genauigkeit Ihrer Inferenzergebnisse verbessert wird.

Die Optimierung von Blueprint-Anweisungen funktioniert am besten, wenn Sie bestimmte Werte extrahieren müssen, die direkt in Ihren Dokumenten vorkommen, wie Rechnungsnummern, Vertragsbeträge oder Steuerformularfelder. Wir empfehlen, 3 bis 10 Beispielressourcen anzugeben, die die Dokumente repräsentieren, die Sie in der Produktion verarbeiten, insbesondere solche, bei denen Sie auf Genauigkeitsprobleme gestoßen sind.

So funktioniert die Optimierung von Blueprint-Anweisungen

Die Optimierung von Blueprint-Anweisungen analysiert die Unterschiede zwischen Ihren erwarteten Ergebnissen und den ersten Inferenzergebnissen. Der Service verfeinert die Anweisungen in natürlicher Sprache für jedes Feld Ihres Blueprints iterativ, bis die Anweisungen in Ihren Beispiel-Assets zu genaueren Ergebnissen führen. Dieser Vorgang ist innerhalb von Minuten abgeschlossen, ohne dass ein Training oder eine Feinabstimmung des Modells erforderlich ist.

Wenn Sie mit dem Optimierungsprozess beginnen, geben Sie Ihre Beispiel-Assets und die entsprechenden Ground-Truth-Daten an — also die korrekten Werte, die Sie für jedes Feld zu extrahieren erwarten. Die Optimierung der Blueprint-Anweisungen vergleicht diese Werte mit den Inferenzergebnissen und passt die Feldbeschreibungen an, um die Genauigkeit zu verbessern. Nach Abschluss der Optimierung erhalten Sie Genauigkeitsmetriken, die die Verbesserung der Genauigkeit aufzeigen, einschließlich exakter Trefferquoten und anhand Ihrer Bodendaten gemessenen F1-Ergebnissen.

Was Sie benötigen, bevor Sie mit der Optimierung Ihrer Pläne beginnen

Ein Blueprint mit definierten Feldern. Erstellen Sie einen Blueprint mithilfe der Konsole oder API. Ihr Blueprint sollte die Feldnamen und anfänglichen Beschreibungen für die Daten enthalten, die Sie extrahieren möchten.

Beispiele für Inhaltsressourcen. Sammeln Sie 3 bis 10 Dokumentressourcen, die Ihren Produktionsaufwand für Dokumente darstellen. Wählen Sie Beispiele aus, die alle Felder in Ihrem Blueprint enthalten.

Erwartete Ergebnisse für Ihre Beispiele. Bereiten Sie die richtigen Werte vor, die Sie aus jedem Beispiel-Asset extrahieren möchten. Sie können diese Werte während der Optimierung manuell eingeben oder sie mithilfe einer Manifestdatei hochladen.

Ein S3-Bucket-Standort. Geben Sie einen S3-Bucket an, in dem Sie Ihre Beispiel-Assets und Ground-Truth-Daten speichern möchten. Sie können Ihren eigenen Bucket bereitstellen oder dem Service erlauben, einen für Sie zu erstellen.

Step-by-step Prozess zur Optimierung Ihres Blueprints

Um Ihren Blueprint zu optimieren, beginnen Sie auf der Blueprint-Detailseite in der Amazon Bedrock Data Automation-Konsole. Beachten Sie, dass dies nur für Ihre Dokumentmodalität verfügbar ist.

Schritt 1. Wählen Sie Blueprint optimieren aus, um den Optimierungsworkflow zu starten.

Schritt 2. Laden Sie Ihre Beispiel-Assets hoch. Wählen Sie bis zu 10 Inhaltsressourcen von Ihrem lokalen Gerät oder von einem S3-Standort aus. Der Dienst lädt Ihre Inhalte hoch und zeigt Miniaturansichten für jede Datei an. Wenn Sie diesen Blueprint zuvor optimiert haben, können Sie neue Beispiele hinzufügen oder bestehende entfernen.

Schritt 3. Stellen Sie Ground Truth für jedes Asset bereit. Wählen Sie ein Asset aus, um den Ground-Truth-Editor zu öffnen. Der Editor zeigt links Ihre Dokumentenvorschau und rechts eine vereinfachte Tabelle mit Ihren Blueprint-Feldern an. Geben Sie für jedes Feld den korrekten Wert, den Sie zu extrahieren erwarten, in die Spalte Ground Truth ein.

Schritt 4. Um die Ground-Truth-Eingabe zu beschleunigen, wählen Sie Automatisch ausfüllen aus, um erste Rückschlüsse auf Ihre Ressourcen zu ziehen und die Ground-Truth-Spalte automatisch anhand der Werte in Ihrer Ergebnisspalte zu füllen. Bearbeiten Sie alle falschen Werte, bevor Sie fortfahren.

Schritt 5. Starten Sie die Optimierung. Nachdem Sie die Ground-Truth-Eingabe für alle ausgewählten Assets abgeschlossen haben, wählen Sie Optimierung starten aus. Die Datenautomatisierung analysiert Ihre Beispiele und verfeinert die Anweisungen in natürlicher Sprache für jedes Feld. Eine Fortschrittsanzeige zeigt den Optimierungsstatus mit Meldungen wie „Wir lesen Ihre Ressourcen“ und „Iterieren anhand von Anweisungen in natürlicher Sprache“ an.

Schritt 6: Überprüfen Sie die Bewertungskennzahlen. Wenn die Optimierung abgeschlossen ist, werden im Abschnitt Metriken Genauigkeitsmetriken für Ihren Blueprint angezeigt. Die Metriken vergleichen die Leistung vor der Optimierung und nach der Optimierung. Prüfen Sie die F1-Gesamtpunktzahl, die Konfidenzpunktzahl und die genaue Trefferquote, um zu beurteilen, ob der Blueprint Ihren Genauigkeitsanforderungen entspricht.

Auf der Registerkarte „Metriken nach Beispieldatei“ wird die Genauigkeit auf Feldebene für jedes Beispiel-Asset angezeigt. Verwenden Sie diese Kennzahlen, um zu ermitteln, welche Felder verbessert wurden und welche Felder möglicherweise zusätzliche Beispiele oder manuelle Anpassungen erfordern.

Schritt 7. Vollständige Optimierung. Wenn die Bewertungsmetriken Ihren Anforderungen entsprechen, wählen Sie Optimierten Blueprint speichern aus, um den optimierten Blueprint für die Produktion bereitzustellen. Ihr Blueprint verwendet jetzt die verfeinerten Anweisungen in natürlicher Sprache für alle future Inferenzanfragen.

Optimieren Sie Ihren Blueprint erneut

Sie können einen Blueprint jederzeit erneut optimieren, um die Genauigkeit weiter zu verbessern. Kehren Sie zur Blueprint-Detailseite zurück und wählen Sie Blueprint optimieren aus. Der Service zeigt die Ressourcen, die Sie zuvor für die Optimierung verwendet haben, zusammen mit ihren Ground-Truth-Werten an.

Zur erneuten Optimierung können Sie neue Beispiel-Assets hinzufügen, Ground-Truth-Werte für bestehende Assets bearbeiten oder Assets entfernen, die nicht mehr Ihrem Workload entsprechen. Wenn Sie Optimierung starten auswählen, wird die Blueprint-Befehlsoptimierung anhand Ihrer aktuellen Blueprint-Anweisungen im Vergleich zu den neuen Anweisungen berechnet.

Bearbeiten Sie einen Blueprint nach der Optimierung

Wenn Sie Felder zu einem optimierten Blueprint hinzufügen oder daraus entfernen, entfernt der Service den Optimierungsverlauf und die zugehörigen Beispiel-Assets. Laden Sie vor der Bearbeitung die Manifestdatei herunter, die Ihre Asset-Standorte und Ground-Truth-Bezeichnungen enthält. Die Manifestdatei verwendet das JSON-Format und enthält alle Felder und Ground-Truth-Werte aus Ihrer vorherigen Optimierung. Um Ihre Optimierungsarbeit beizubehalten, laden Sie die Manifestdatei hoch, wenn Sie den bearbeiteten Blueprint erneut optimieren. Die Datenautomatisierung wendet automatisch Ground-Truth-Werte auf übereinstimmende Felder an. Felder, die im Blueprint nicht mehr vorhanden sind, werden aus dem Manifest entfernt. Neue Felder haben erst dann Ground-Truth-Werte, wenn Sie sie angeben.

Managen Sie die Optimierungskosten

Bei der Optimierung von Blueprint-Anweisungen fallen die Inferenzkosten an, als ob Sie Ihre Anweisungen in natürlicher Sprache manuell bearbeiten und sie iterativ mit jedem Beispieldokument testen würden. Für eine grobe Berechnung entspricht die Anzahl der Seiten, die Sie als Beispiele angeben, der Anzahl der Seiten, die bei der Optimierung Ihres Blueprints berechnet werden. Bei jedem Optimierungslauf werden Ihre Beispiel-Assets mehrfach verarbeitet, um die Anweisungen zu verfeinern. Um die Kosten zu minimieren, beginnen Sie mit 3 bis 5 Beispielen für Ihre erste Optimierung. Fügen Sie weitere Beispiele hinzu, wenn Sie die Bewertungskennzahlen überprüfen und der Meinung sind, dass Sie zusätzliche Genauigkeitsverbesserungen benötigen.

Darüber hinaus sind die optimierten Anweisungen in natürlicher Sprache in der Regel länger und detaillierter als die ursprünglichen Anweisungen, was die Kosten für Laufzeitinferenzen erhöhen kann.