Analysieren der Ergebnisse eines Modellanpassungsauftrags - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Analysieren der Ergebnisse eines Modellanpassungsauftrags

Wenn Ihre Modellanpassungsauftrag abgeschlossen ist, können Sie die Ergebnisse des Anpassungsprozesses analysieren. Die folgenden Artefakte werden in den S3-Bucket hochgeladen, den Sie bei der Erstellung Ihres Modellanpassungsauftrags angeben:

  • Trainings- und Validierungsmetriken – Amazon Bedrock stellt Trainingsmetriken für alle Modellanpassungsaufträge bereit. Validierungsmetriken sind auch in einigen Modellanpassungsaufträgen enthalten.

  • Synthetische Daten (nur Modelldestillation) – Beispiel-Prompts aus dem synthetischen Datensatz, den Amazon Bedrock anhand Ihres Lehrermodells generiert und zur Feinabstimmung Ihres Schülermodells während des Destillationauftrags verwendet hat. Diese Informationen können Ihnen helfen, besser zu verstehen und zu überprüfen, wie Ihr benutzerdefiniertes Modell trainiert wurde.

  • Prompt-Erkenntnisse (nur Modelldestillation) – Ein Bericht über Eingabe-Prompts, die während der Destillation akzeptiert und abgelehnt wurden (zusammen der Angabe eines Grunds). Diese Informationen können Ihnen helfen, Ihre Eingabe-Prompts zu korrigieren und zu verfeinern, falls Sie einen weiteren Destillationsauftrag ausführen müssen.

Amazon Bedrock speichert Ihre maßgeschneiderten Modelle in einem AWS verwalteten Speicher, der auf Sie zugeschnitten ist. AWS-Konto

Sie können Ihr Modell auch bewerten, indem Sie einen Auftrag zur Modellbewertung ausführen. Weitere Informationen finden Sie unter Die Leistung von Amazon-Bedrock-Ressourcen bewerten.

Das folgende Beispiel zeigt, wo Sie Trainings- und Validierungsmetriken in einem S3-Bucket finden können:

- model-customization-job-training-job-id/
    - training_artifacts/
        - step_wise_training_metrics.csv
    - validation_artifacts/
        - post_fine_tuning_validation/
            - validation_metrics.csv

Verwenden Sie die Dateien step_wise_training_metrics.csv und validation_metrics.csv, um den Modellanpassungsauftrag zu analysieren und das Modell bei Bedarf anzupassen.

Die Datei step_wise_training_metrics.csv enthält die folgenden Spalten.

  • step_number – Der Schritt im Trainingsprozess. Beginnt bei 0.

  • epoch_number – Die Epoche im Trainingsprozess

  • training_loss – Gibt an, wie gut das Modell zu den Trainingsdaten passt. Ein niedrigerer Wert bedeutet eine bessere Eignung.

  • perplexity – Gibt an, wie gut das Modell eine Sequenz von Token vorhersagen kann. Ein niedrigerer Wert bedeutet eine bessere Prognosefähigkeit.

Die Spalten in der Datei validation_metrics.csv sind dieselben wie in der Trainingsdatei, außer dass validation_loss (wie gut das Modell zu den Validierungsdaten passt) anstelle von training_loss angezeigt wird.

Sie können die Ausgabedateien finden, indem Sie die Datei https://console.aws.amazon.com/s3 direkt öffnen oder indem Sie in Ihren Modelldetails nach dem Link zum Ausgabeordner suchen. Wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und befolgen Sie dann die Schritte:

Console

  1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter https://console.aws.amazon.com/bedrock.

  2. Wählen Sie im linken Navigationsbereich unter Optimieren die Option Benutzerdefinierte Modelle aus.

  3. Wählen Sie auf der Registerkarte Modelle ein Modell aus, um dessen Details anzuzeigen. Den Auftragsnamen finden Sie im Abschnitt Modelldetails.

  4. Zum Anzeigen der S3-Ausgabedateien wählen Sie den S3-Speicherort im Abschnitt Ausgabedaten aus.

  5. Suchen Sie die Trainings- und Validierungsmetrikdateien in dem Ordner, dessen Name mit dem Auftragsnamen für das Modell übereinstimmt.

API

Um Informationen zu all Ihren benutzerdefinierten Modellen aufzulisten, senden Sie eine Anfrage ListCustomModels(siehe Link für Anfrage- und Antwortformate und Felddetails) mit einem Endpunkt der Amazon Bedrock-Steuerungsebene. Filter, ListCustomModelsdie Sie verwenden können, finden Sie unter.

Um alle Tags für ein benutzerdefiniertes Modell aufzulisten, senden Sie eine ListTagsForResourceAnfrage mit einem Endpunkt der Amazon Bedrock-Steuerebene und geben Sie den Amazon-Ressourcennamen (ARN) des benutzerdefinierten Modells an.

Um den Status eines Auftrags zur Modellanpassung zu überwachen, senden Sie eine Anfrage GetCustomModel(siehe Link für Anfrage- und Antwortformate und Felddetails) mit einem Amazon Bedrock-Steuerebenen-Endpunkt mit demmodelIdentifier, was einer der folgenden ist.

  • Der Name, den Sie dem Modell gegeben haben

  • Der ARN des Modells.

Sie können entweder in der GetCustomModelAntwort GetModelCustomizationJoboder die Angabe trainingMetrics und validationMetrics für einen Auftrag zur Modellanpassung sehen.

Zum Herunterladen der Dateien mit den Trainings- und Validierungsmetriken folgen Sie den Schritten unter Herunterladen von Objekten. Verwenden Sie den S3-URI, den Sie in outputDataConfig angegeben haben.

Siehe Codebeispiele