Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Endpunkte
Nachdem Sie Ihr Modell auf einem Endpunkt bereitgestellt haben, möchten Sie möglicherweise den Endpunkt anzeigen und verwalten. Mit SageMaker AI können Sie den Status und die Details Ihres Endpunkts einsehen, Metriken und Protokolle überprüfen, um die Leistung Ihres Endpunkts zu überwachen, die auf Ihrem Endpunkt bereitgestellten Modelle aktualisieren und vieles mehr.
In den folgenden Abschnitten wird gezeigt, wie Sie Endpunkte innerhalb von Amazon SageMaker Studio oder innerhalb der AWS-Managementkonsole verwalten können.
Auf der folgenden Seite wird beschrieben, wie Sie Ihre Endpunkte mithilfe der Konsole von Amazon SageMaker AI oder mit SageMaker Studio interaktiv anzeigen und ändern können.
**Topics**
+ [
# Anzeigen von Endpunktdetails in SageMaker Studio
](manage-endpoints-studio.md)
+ [
# Sehen Sie sich die Endpunktdetails in der SageMaker-AI-Konsole an.
](manage-endpoints-console.md)
# Anzeigen von Endpunktdetails in SageMaker Studio
In Amazon SageMaker Studio können Sie Ihre Hosting-Endpunkte von SageMaker AI anzeigen und verwalten. Weitere Informationen zu Studio finden Sie unter [Amazon SageMaker Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio.html).
Gehen Sie wie folgt vor, um die Liste Ihrer Endpunkte in SageMaker Studio zu finden:
1. Öffnen Sie die Studio-Anwendung.
1. Klicken Sie im linken Navigationsbereich auf **Bereitstellungen**.
1. Wählen Sie **Endpunkte** im Dropdown-Menü aus.
Die Seite **Endpunkte** wird geöffnet, auf der alle Ihre Hosting-Endpunkte von SageMaker AI aufgelistet sind. Auf dieser Seite können Sie die Endpunkte und ihren **Status** sehen. Sie können auch einen neuen Endpunkt erstellen oder einen vorhandenen Endpunkt bearbeiten oder löschen.
Um die Details für einen bestimmten Endpunkt anzuzeigen, wählen Sie einen Endpunkt aus der Liste aus. Auf der Detailseite des Endpunkts erhalten Sie eine Übersicht wie im folgenden Screenshot.
![\[Screenshot der Hauptseite eines Endpunkts mit einer Zusammenfassung der Endpunktdetails in Studio.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/inference/studio-endpoint-details-page.png)
Jede Endpunktdetailseite enthält die folgenden Registerkarten mit Informationen:
# Varianten (oder Modelle) anzeigen
Auf der Registerkarte **Varianten** (oder **Modelle**, wenn auf Ihrem Endpunkt mehrere Modelle bereitgestellt wurden) wird die Liste der [Modellvarianten](https://docs.aws.amazon.com/sagemaker/latest/dg/model-ab-testing.html) oder Modelle angezeigt, die derzeit auf Ihrem Endpunkt bereitgestellt werden. Der folgende Screenshot zeigt Ihnen, wie die Abschnitte „Übersicht“ und **Modelle** für einen Endpunkt mit mehreren bereitgestellten Modellen aussehen.
![\[Screenshot der Hauptseite eines Endpunkts, auf der mehrere bereitgestellte Modelle angezeigt werden\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/inference/studio-goldfinch-multi-model-endpoint.png)
Sie können Einstellungen für jede Variante oder jedes Modell hinzufügen oder ändern. Sie können auch eine Variante auswählen und eine Standardrichtlinie zum Auto Scaling aktivieren, die Sie später auf der Registerkarte **Auto Scaling** bearbeiten können.
# Anzeigen der Einstellungen
Auf der Registerkarte **Einstellungen** können Sie die dem Endpunkt zugeordnete AWS-IAM-Rolle, den für die Verschlüsselung verwendeten AWS KMS-Schlüssel (falls zutreffend), den Namen Ihrer VPC und die Netzwerkisolationseinstellungen einsehen.
# Testinferenz
Auf der Registerkarte **Testinferenz** können Sie eine Testinferenzanforderung an ein bereitgestelltes Modell senden. Dies ist nützlich, wenn Sie überprüfen möchten, ob Ihr Endpunkt wie erwartet auf Anfragen reagiert.
Führen Sie für die Testinferenz folgende Schritte aus:
1. Wählen Sie auf der Registerkarte **Testinferenz** des Modells eine der folgenden Optionen aus:
1. Wählen Sie **Anforderungstext eingeben** aus, wenn Sie den Endpunkt testen und eine Antwort über die Studio-Oberfläche erhalten möchten.
1. Wählen Sie **Beispielcode kopieren (Python)** aus, wenn Sie ein AWS SDK für Python (Boto3)-Beispiel kopieren möchten, mit dem Sie Ihren Endpunkt aus einer lokalen Umgebung aufrufen und programmgesteuert eine Antwort erhalten können.
1. Wählen Sie unter **Modell** das Modell aus, das Sie auf dem Endpunkt testen möchten.
1. Wenn Sie sich für die Testmethode der Studio-Benutzeroberfläche entschieden haben, können Sie auch den gewünschten **Inhaltstyp** für die Antwort aus dem Dropdown-Menü auswählen.
Nachdem Sie Ihre Anforderung konfiguriert haben, können Sie entweder **Anfrage senden** (um eine Antwort über die Studio-Oberfläche zu erhalten) oder **Kopieren** wählen, um das Python-Beispiel zu kopieren.
Wenn Sie eine Antwort über die Studio-Oberfläche erhalten, sieht sie wie im folgenden Screenshot aus.
![\[Screenshot einer erfolgreichen Inferenztestanforderung auf einem Endpunkt in Studio\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/inference/endpoint-test-inference.png)
# Auto Scaling
Auf der Registerkarte **Auto Scaling** können Sie alle Richtlinien für die automatische Skalierung anzeigen, die für die auf Ihrem Endpunkt gehosteten Modelle konfiguriert sind. Der folgende Screenshot zeigt die Registerkarte **Auto Scaling**.
![\[Screenshot der Registerkarte Auto Scaling, die eine aktive Richtlinie zeigt.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/inference/studio-endpoint-autoscaling.png)
Sie können **Auto Scaling bearbeiten** auswählen, um eine der Richtlinien zu ändern und die standardmäßige Auto-Scaling-Richtlinie zu aktivieren oder zu deaktivieren.
Weitere Informationen zum Auto Scaling für Echtzeit-Endpunkte finden Sie unter [Automatisches Skalieren der Modelle von Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html). Wenn Sie sich nicht sicher sind, wie Sie eine Auto-Scaling-Richtlinie für Ihren Endpunkt konfigurieren sollen, können Sie einen [Inference-Recommender-Job mit Auto-Scaling-Empfehlungen](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-recommender-autoscaling.html) verwenden, um Empfehlungen zur Auto-Scaling-Richtlinie zu erhalten.
# Sehen Sie sich die Endpunktdetails in der SageMaker-AI-Konsole an.
Führen Sie die folgenden Schritte aus, um Ihre Endpunkte in der SageMaker AI-Konsole anzuzeigen:
1. Rufen Sie die SageMaker-AI-Konsole unter [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/) auf.
1. Wählen Sie im linken Navigationsbereich ** services** aus.
1. Wählen Sie in der Dropdown-Liste **Endpunkte**.
1. Wählen Sie auf der Seite **Endpunkte** Ihren Endpunkt aus.
Die Seite mit den Endpunktdetails sollte sich öffnen und Ihnen eine Zusammenfassung Ihres Endpunkts und der für Ihren Endpunkt gesammelten Metriken anzeigen.
In den folgenden Abschnitten werden die Registerkarten auf der Seite „Endpunktdetails“ beschrieben.
# Überwachen von Endpunkten
Nachdem Sie einen Hosting-Endpunkt SageMaker AI erstellt haben, können Sie Ihren Endpunkt mit Amazon CloudWatch überwachen, das Rohdaten sammelt und sie in lesbare Metriken in nahezu Echtzeit verarbeitet. Mithilfe dieser Metriken können Sie auf historische Informationen zugreifen und sich einen besseren Überblick über die Leistung Ihres Endpunkts verschaffen. Weitere Informationen finden Sie im *[Amazon CloudWatch-Benutzerhandbuch](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/)*.
Auf der Seite mit den Endpunktdetails auf der Registerkarte **Überwachung** können Sie CloudWatch-Metrikdaten einsehen, die von Ihrem Endpunkt erfasst wurden.
Die Registerkarte **Überwachen** enthält die folgenden Abschnitte:
+ **Betriebsmetriken**: Sehen Sie sich Metriken an, die die Auslastung der Ressourcen Ihres Endpunkts verfolgen, z. B. CPU-Auslastung und Speicherauslastung.
+ **Aufrufmetriken**: Sehen Sie sich Metriken an, die die Anzahl, den Zustand und den Status von `InvokeEndpoint` Anfragen verfolgen, die an Ihren Endpunkt eingehen, z. B. Aufrufmodellfehler und Modelllatenz.
+ **Integritätskennzahlen**: Sehen Sie sich Metriken an, die den allgemeinen Zustand Ihres Endpunkts verfolgen, z. B. Aufruffehler und Benachrichtigungsfehler.
Eine ausführliche Beschreibung der einzelnen Metriken finden Sie unter [Überwachen von SageMaker AI mit CloudWatch](https://docs.aws.amazon.com/sagemaker/latest/dg/monitoring-cloudwatch.html).
Der folgende Screenshot zeigt den Abschnitt **Betriebsmetriken** für einen serverlosen Endpunkt.
![\[Screenshot der Metrikdiagramme im Abschnitt mit den Betriebsmetriken auf der Seite mit den Endpunktdetails.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/hosting-operational-metrics.png)
Sie können den **Zeitraum** und die **Statistik**, die Sie für die Kennzahlen in einem bestimmten Abschnitt verfolgen möchten, sowie den Zeitraum, für den Sie die Metrikdaten anzeigen möchten, anpassen. Sie können der Ansicht auch Metrik-Widgets für jeden Abschnitt hinzufügen und daraus entfernen, indem Sie **Widget hinzufügen** wählen. Im Dialogfeld **Widget hinzufügen** können Sie die Metriken, die Sie sehen möchten, auswählen und deren Auswahl aufheben.
Welche Metriken verfügbar sind, hängt möglicherweise von Ihrem Endpunkttyp ab. Beispielsweise verfügen serverlose Endgeräte über einige Messwerte, die für Echtzeit-Endpunkte nicht verfügbar sind. Spezifischere Überwachen von -Metriken nach Endpunkttyp finden Sie auf den folgenden Seiten:
+ [Überwachen Sie einen serverlosen Endpunkt](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints-monitoring.html)
+ [Überwachen Sie einen asynchronen Endpunkt](https://docs.aws.amazon.com/sagemaker/latest/dg/async-inference-monitor.html)
+ [CW-Metriken für die Bereitstellung von Endpunkten nach mehreren Modellen](https://docs.aws.amazon.com/sagemaker/latest/dg/multi-model-endpoint-cloudwatch-metrics.html)
+ [Protokolle und Metriken der Inferenz-Pipeline](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-pipeline-logs-metrics.html)
# Einstellungen
Sie können die Registerkarte **Einstellungen** wählen, um zusätzliche Informationen zu Ihrem Endpunkt anzuzeigen, z. B. die Datenerfassungseinstellungen, die Endpunktkonfiguration und Tags.
# Erstellen und Anzeigen von Alarmen
Unter der Registerkarte **Alarme** auf der Seite mit den Endpunktdetails können Sie einfache statische Alarme für Metriken mit Schwellenwerten anzeigen und erstellen, in denen Sie einen Schwellenwert für eine Metrik angeben. Wenn die Metrik den Schwellenwert überschreitet, geht der Alarm in den `ALARM` Status über. Weitere Informationen zu CloudWatch-Alarmen erhalten Sie unter [Verwendung von Amazon-CloudWatch-Alarmen](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html).
Im Abschnitt **Endpunktzusammenfassung** können Sie das Feld **Alarme aufrufen**, in dem Sie erfahren, wie viele Alarme derzeit auf Ihrem Endpunkt aktiv sind.
Um zu sehen, welche Alarme sich im `ALARM` Status befinden, wählen Sie die Registerkarte **Alarme**. Auf der Registerkarte **Alarme** finden Sie eine vollständige Liste Ihrer Endpunktalarme sowie Einzelheiten zu deren Status und Bedingungen. Der folgende Screenshot zeigt eine Liste der Alarme in diesem Abschnitt, die für einen Endpunkt konfiguriert wurden.
![\[Screenshot der Registerkarte Alarme auf der Seite mit den Endpunktdetails, auf der eine Liste der CloudWatch-Alarme angezeigt wird.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/hosting-alarms-tab.png)
Der Status eines Alarms kann `In alarm`, `OK` oder `Insufficient data` sein, wenn nicht genügend Metrikdaten gesammelt werden.
Gehen Sie wie folgt vor, um einen neuen Alarm für Ihren Endpunkt zu erstellen:
1. Wählen Sie auf der Registerkarte **Alarme** die Option **Alarm erstellen**.
1. Die Seite **Alarm erstellen** wird geöffnet. Geben Sie für **Alarmname** einen Namen für den Alarm ein.
1. (Optional) Geben Sie eine Beschreibung für den Alarm ein.
1. Wählen Sie für **Metric** die CloudWatch-Metriken, die der Alarm verfolgen soll.
1. Wählen Sie als **Variantenname** die Endpunktmodellvariante aus, die Sie überwachen möchten.
1. Wählen Sie unter **Statistik** eine der verfügbaren Statistiken für die von Ihnen ausgewählte Metrik aus.
1. Wählen Sie unter **Zeitraum** den Zeitraum aus, der für die Berechnung der einzelnen statistischen Werte verwendet werden soll. Wenn Sie beispielsweise die Statistik Durchschnitt und einen Zeitraum von 5 Minuten wählen, entspricht jeder vom Alarm überwachte Datenpunkt dem Durchschnitt der Datenpunkte der Metrik in 5-Minuten-Intervallen.
1. Geben Sie für **Bewertungszeiträume** die Anzahl der Datenpunkte ein, die der Alarm bei der Bewertung, ob der Alarmstatus aktiviert werden soll oder nicht, berücksichtigen soll.
1. Wählen Sie unter **Bedingung** die Bedingung aus, die Sie für Ihren Alarmschwellenwert verwenden möchten.
1. Geben Sie unter **Schwellenwert** den gewünschten Wert für Ihren Schwellenwert ein.
1. (Optional) Für **Benachrichtigung** können Sie **Benachrichtigung hinzufügen** wählen, um ein Amazon SNS-Thema zu erstellen oder anzugeben, das eine Benachrichtigung erhält, wenn sich Ihr Alarmstatus ändert.
1. Wählen Sie **Alarm erstellen** aus.
Nachdem Sie Ihren Alarm erstellt haben, können Sie jederzeit zur Registerkarte **Alarme** zurückkehren, um seinen Status einzusehen. In diesem Bereich können Sie auch den Alarm auswählen und ihn entweder **bearbeiten** oder **löschen**.