Analizzare i risultati di un processo di personalizzazione dei modelli - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Analizzare i risultati di un processo di personalizzazione dei modelli

Una volta completato il processo di personalizzazione dei modelli, è possibile analizzarne i risultati. I seguenti artefatti vengono caricati nel bucket S3 specificato durante la creazione del processo di personalizzazione dei modelli:

  • Metriche di addestramento e convalida: Amazon Bedrock fornisce metriche di addestramento per tutti i processi di personalizzazione dei modelli. In alcuni processi di personalizzazione dei modelli sono anche incluse metriche di convalida.

  • Dati sintetici (solo Model Distillation): prompt di esempio del set di dati sintetici che Amazon Bedrock ha generato dal modello insegnante e utilizzato per eseguire il fine-tuning del modello studente durante il processo di distillazione. Queste informazioni possono aiutarti a comprendere e convalidare ulteriormente il modo in cui è stato addestrato il tuo modello personalizzato.

  • Approfondimenti sui prompt (solo Model Distillation): un report sulle richieste di input che sono state accettate e rifiutate (insieme al motivo) durante la distillazione. Queste informazioni possono aiutarti a correggere e perfezionare i prompt se dovete eseguire un altro processo di distillazione.

Amazon Bedrock archivia i tuoi modelli personalizzati in uno storage AWS gestito specifico per te. Account AWS

Puoi anche valutare il modello eseguendo un processo di valutazione del modello. Per ulteriori informazioni, consulta Valutare le prestazioni delle risorse Amazon Bedrock.

L’esempio seguente mostra dove è possibile trovare le metriche di addestramento e convalida in un bucket S3:

- model-customization-job-training-job-id/
    - training_artifacts/
        - step_wise_training_metrics.csv
    - validation_artifacts/
        - post_fine_tuning_validation/
            - validation_metrics.csv

Utilizza step_wise_training_metrics.csv e i file validation_metrics.csv per analizzare il processo di personalizzazione del modello e per modificare il modello secondo necessità.

Le colonne del file step_wise_training_metrics.csv sono le seguenti.

  • step_number - Fase del processo di addestramento. Inizia da 0.

  • epoch_number - Epoch del processo di addestramento.

  • training_loss - Indica il grado di adattabilità del modello ai dati di addestramento. Un valore più basso indica una migliore adattabilità.

  • perplexity - Indica il grado di precisione con cui il modello è in grado di prevedere una sequenza di token. Un valore più basso indica una migliore abilità predittiva.

Le colonne del file validation_metrics.csv sono le stesse del file di addestramento, tranne per il fatto che è presente validation_loss (il grado di adattabilità del modello ai dati di convalida) al posto di training_loss.

Puoi trovare i file di output aprendo direttamente https://console.aws.amazon.com/s3 o trovando il link alla cartella di output tra i dettagli del tuo modello. Scegli la scheda relativa al metodo che preferisci, quindi segui la procedura:

Console

  1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in https://console.aws.amazon.com/bedrock.

  2. Nel riquadro di navigazione a sinistra, scegli Modelli personalizzati in Ottimizza.

  3. Nella scheda Modelli, seleziona un modello per visualizzarne i dettagli. Il nome del processo è disponibile nella sezione Dettagli modello.

  4. Per visualizzare i file S3 di output, seleziona la posizione S3 nella sezione Dati di output.

  5. Trova i file delle metriche di addestramento e convalida nella cartella il cui nome corrisponde al nome del processo per il modello.

API

Per elencare informazioni su tutti i tuoi modelli personalizzati, invia una richiesta ListCustomModels(consulta il link per i formati di richiesta e risposta e i dettagli sui campi) con un endpoint del piano di controllo Amazon Bedrock. Fai riferimento a ListCustomModelsper i filtri che puoi utilizzare.

Per elencare tutti i tag per un modello personalizzato, invia una ListTagsForResourcerichiesta con un endpoint del piano di controllo Amazon Bedrock e includi l'Amazon Resource Name (ARN) del modello personalizzato.

Per monitorare lo stato di un processo di personalizzazione del modello, invia una richiesta GetCustomModel(consulta il link per i formati di richiesta e risposta e i dettagli dei campi) a un endpoint del piano di controllo Amazon Bedrock conmodelIdentifier, che è uno dei seguenti.

  • Il nome che hai assegnato al modello.

  • L'ARN del modello.

Puoi visualizzare trainingMetrics e validationMetrics per un processo di personalizzazione del modello nella risposta o. GetModelCustomizationJobGetCustomModel

Per scaricare i file delle metriche di addestramento e convalida, segui la procedura Download degli oggetti. Utilizza l’URI S3 che hai fornito in outputDataConfig.

Vedi esempi di codice