Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Valutazione e confronto delle prestazioni dei modelli
Valuta i modelli di classificazione del testo implementati utilizzando il framework di valutazione. Il framework supporta modalità di valutazione supervisionate e non supervisionate grazie a un approccio basato su notebook.
Utilizzo di set di dati integrati
Consigliamo di utilizzare il set di dati di valutazione supervisionato integrato per questo tutorial, poiché la maggior parte degli utenti non dispone di dati di valutazione etichettati. I set di dati integrati forniscono un’analisi completa delle prestazioni in diversi scenari:
Set di dati bilanciati: distribuzione equa delle classi per le prestazioni baseline.
Set di dati disallineati: classi squilibrate per i test effettivi.
Set di dati complessi: casi limite per testare la robustezza del modello.
La valutazione genera metriche chiave tra cui i punteggi di accuratezza, precisione, richiamo, punteggio F1, Coefficiente di correlazione di Matthews (MCC) e Area sotto la curva ROC con curve visive per il confronto dei modelli.
Utilizzo di dati personalizzati
Se disponi di un set di dati etichettato, puoi sostituirlo nel notebook. Il framework si adatta automaticamente al formato dei tuoi dati e genera le stesse metriche complete.
Formati dei dati supportati:
Formato CSV: due colonne,
textelabelFormati di etichetta: “positivo”/“negativo”, “LABEL_0”/“LABEL_1”, “True”/“False” o “0”/“1”
Non supervisionato: colonna
textsingola per l’analisi dell’attendibilità
Configurazione dell’ambiente di valutazione
Crea uno JupyterLab spazio in SageMaker Amazon SageMaker Studio per eseguire il notebook di valutazione.
-
In Studio, scegli JupyterLabdalla schermata principale.
-
Se non disponi di uno spazio:
-
Scegli Crea spazio.
-
Inserisci un nome descrittivo (ad esempio,
TextModelEvaluation). -
Mantieni il tipo di istanza predefinito.
-
Scegli Esegui lo spazio.
-
Una volta creato lo spazio, scegli Apri JupyterLab.
-
Accesso al notebook di valutazione
Scarica il file .zip ed estrailo sul computer locale. Carica l'intera cartella estratta nel tuo JupyterLab spazio per iniziare a testare i tuoi modelli. Il pacchetto contiene il notebook di valutazione principale, i set di dati di esempio, i moduli Python di supporto e istruzioni dettagliate per il framework di valutazione completo.
Nota
Dopo aver estratto il pacchetto, consulta il file README per le istruzioni di configurazione dettagliate e una panoramica del framework.
Passa a Interpretazione dei risultati per scoprire come analizzare l’output della valutazione e prendere decisioni in merito alla selezione dei modelli basate sui dati.
