Verwenden Sie erweiterte Metriken in Ihren Analysen
Im folgenden Abschnitt wird beschrieben, wie Sie die erweiterten Metriken für Ihr Modell in Amazon SageMaker Canvas finden und interpretieren.
Anmerkung
Erweiterte Metriken sind derzeit nur für numerische und kategoriale Vorhersagemodelle verfügbar.
Gehen Sie wie folgt vor, um die Registerkarte Erweiterte Metriken zu finden:
-
Öffnen Sie die SageMaker Canvas-Anwendung.
-
Wählen Sie im linken Navigationsbereich Meine Modelle aus.
-
Wählen Sie das Modell aus, das Sie gebaut haben.
-
Wählen Sie im Navigationsbereich die Registerkarte Analyzieren aus.
-
Wählen Sie auf der Registerkarte Analysieren die Registerkarte Erweiterte Metriken aus.
Auf der Registerkarte Erweiterte Metriken finden Sie die Registerkarte Leistung. Die Seite sieht wie im folgenden Screenshot aus.
Oben sehen Sie eine Übersicht über die Ergebnisse der Metriken, einschließlich der Optimierungsmetrik. Dabei handelt es sich um die Metrik, die Sie bei der Erstellung des Modells zur Optimierung ausgewählt haben (oder die von Canvas standardmäßig ausgewählt wurde).
In den folgenden Abschnitten werden detailliertere Informationen zur Registerkarte Leistung in den erweiterten Metriken beschrieben.
Leistung
Auf der Registerkarte Leistung sehen Sie eine Tabelle mit Metriken sowie Visualisierungen, die Canvas auf der Grundlage Ihres Modelltyps erstellt. Für kategoriale Vorhersagemodelle bietet Canvas eine Wahrheitsmatrix, während Canvas für numerische Vorhersagemodelle Residuen und Fehlerdichte-Diagramme bereitstellt.
In der Tabelle mit den Metriken finden Sie eine vollständige Liste der Ergebnisse Ihres Modells für jede erweiterte Metrik, die umfassender ist als die Ergebnisübersicht oben auf der Seite. Die hier angezeigten Metriken hängen von Ihrem Modelltyp ab. Eine Referenz, die Ihnen hilft, die einzelnen Metriken zu verstehen und zu interpretieren, finden Sie unter Referenz zu den Metriken.
Informationen zu den Visualisierungen, die je nach Modelltyp angezeigt werden können, finden Sie in den folgenden Optionen:
-
Wahrheitsmatrix – Canvas verwendet Konfusionsmatrizen, um Ihnen zu helfen, zu visualisieren, wann ein Modell korrekte Vorhersagen trifft. In einer Konfusionsmatrix sind Ihre Ergebnisse so angeordnet, dass die vorhergesagten Werte mit den tatsächlichen Werten verglichen werden. Im folgenden Beispiel wird erklärt, wie eine Konfusionsmatrix für ein Vorhersagemodell mit zwei Kategorien funktioniert, das positive und negative Kennzeichnungen vorhersagt:
-
Richtig positiv – Das Modell hat korrekt positiv vorhergesagt, als das wahre Etikett positiv war.
-
Richtig negativ – Das Modell hat korrekt negativ vorhergesagt, obwohl das wahre Etikett negativ war.
-
Falsch positiv – Das Modell hat fälschlicherweise positiv vorhergesagt, obwohl das wahre Etikett negativ war.
-
Falsch negativ – Das Modell hat fälschlicherweise negativ vorhergesagt, obwohl das wahre Etikett positiv war.
-
-
Präzisions-Recall-Kurve: Die Präzisions-Recall-Kurve ist eine Visualisierung des Präzisionswerts des Modells, der gegen den Recall-Score des Modells aufgetragen wird. Im Allgemeinen würde ein Modell, das perfekte Vorhersagen treffen kann, sowohl eine Präzisions- als auch eine Recall-Bewertung von 1 aufweisen. Die Präzisions-Recall-Kurve für ein recht genaues Modell ist sowohl hinsichtlich der Präzision als auch des Recalls relativ hoch.
-
Residuen: Residuen sind die Differenz zwischen den tatsächlichen Werten und den vom Modell vorhergesagten Werten. Ein Residuen-Diagramm stellt die Residuen gegenüber den entsprechenden Werten dar, um ihre Verteilung und etwaige Muster oder Ausreißer zu visualisieren. Eine normale Verteilung der Residuen um Null herum zeigt, dass das Modell gut zu den Daten passt. Wenn die Residuen jedoch stark verzerrt sind oder Ausreißer aufweisen, kann dies darauf hindeuten, dass das Modell die Daten überanpasst oder dass andere Probleme vorliegen, die behoben werden müssen.
-
Fehlerdichte: Ein Fehlerdichte-Diagramm ist eine Darstellung der Verteilung der Fehler, die ein Modell macht. Es zeigt die Wahrscheinlichkeitsdichte der Fehler an jedem Punkt und hilft Ihnen dabei, Bereiche zu identifizieren, in denen das Modell möglicherweise überangepasst ist oder systematische Fehler macht.
