Analizza i risultati di un processo di personalizzazione del modello - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Analizza i risultati di un processo di personalizzazione del modello

Una volta completato il processo di personalizzazione del modello, è possibile analizzare i risultati del processo di personalizzazione. I seguenti elementi vengono caricati nel bucket S3 specificato durante la creazione del processo di personalizzazione del modello:

Amazon Bedrock archivia i tuoi modelli personalizzati in uno storage AWS gestito specifico per te. Account AWS

Puoi anche valutare il tuo modello eseguendo un processo di valutazione del modello. Per ulteriori informazioni, consulta Valuta le prestazioni delle risorse Amazon Bedrock.

L'esempio seguente mostra dove è possibile perfezionare le metriche di addestramento e convalida in un bucket S3:

- model-customization-job-training-job-id/
    - training_artifacts/
        - step_wise_training_metrics.csv
    - validation_artifacts/
        - post_fine_tuning_validation/
            - validation_metrics.csv

Utilizza step_wise_training_metrics.csv e i file validation_metrics.csv per analizzare il processo di personalizzazione del modello e per modificare il modello secondo necessità.

Le colonne del step_wise_training_metrics.csv file sono le seguenti.

  • step_number— La fase del processo di formazione. Inizia da 0.

  • epoch_number— L'epoca del processo di formazione.

  • training_loss— Indica quanto bene il modello si adatta ai dati di addestramento. Un valore più basso indica un adattamento migliore.

  • perplexity— Indica la capacità del modello di prevedere una sequenza di token. Un valore più basso indica una migliore capacità predittiva.

Le colonne del validation_metrics.csv file sono le stesse del file di addestramento, tranne per il fatto che validation_loss (quanto bene il modello si adatta ai dati di convalida) appare al posto di. training_loss

Puoi trovare i file di output aprendo direttamente https://console.aws.amazon.com/s3 o trovando il link alla cartella di output all'interno dei dettagli del tuo modello. Scegliete la scheda relativa al metodo preferito, quindi seguite i passaggi:

Console

  1. Accedi a AWS Management Console con un responsabile IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock all'indirizzo https://console.aws.amazon.com/bedrock/.

  2. Dal riquadro di navigazione a sinistra, scegli Modelli personalizzati in Modelli Foundation.

  3. Nella scheda Modelli, seleziona un modello per visualizzarne i dettagli. Il nome del Job è disponibile nella sezione Dettagli del modello.

  4. Per visualizzare i file S3 di output, selezionate la posizione S3 nella sezione Dati di output.

  5. Trova i file delle metriche di addestramento e convalida nella cartella il cui nome corrisponde al nome del Job per il modello.

API

Per elencare informazioni su tutti i tuoi modelli personalizzati, invia una richiesta ListCustomModels(consulta il link per i formati di richiesta e risposta e i dettagli sui campi) con un endpoint del piano di controllo Amazon Bedrock. Fai riferimento a ListCustomModelsper i filtri che puoi utilizzare.

Per elencare tutti i tag per un modello personalizzato, invia una ListTagsForResourcerichiesta con un endpoint del piano di controllo Amazon Bedrock e includi l'Amazon Resource Name (ARN) del modello personalizzato.

Per monitorare lo stato di un processo di personalizzazione del modello, invia una richiesta GetCustomModel(consulta il link per i formati di richiesta e risposta e i dettagli dei campi) a un endpoint del piano di controllo Amazon Bedrock conmodelIdentifier, che è uno dei seguenti.

  • Il nome che hai assegnato al modello.

  • L'ARN del modello.

Puoi visualizzare trainingMetrics e validationMetrics per un lavoro di personalizzazione del modello nella GetCustomModelrisposta GetModelCustomizationJobo.

Per scaricare i file delle metriche di formazione e convalida, segui i passaggi riportati in Download degli oggetti. Usa l'URI S3 che hai fornito in. outputDataConfig

Vedi esempi di codice