Metriken von Amazon SageMaker AI in Amazon CloudWatch - Amazon SageMaker AI

Metriken von Amazon SageMaker AI in Amazon CloudWatch

Sie können Amazon SageMaker AI mit Amazon CloudWatch überwachen, wobei Rohdaten erfasst und in lesbare, nahezu Echtzeit-Metriken verarbeitet werden. Diese Statistiken werden für 15 Monate aufbewahrt. Sie können damit auf die Verlaufsdaten zugreifen und sich einen besseren Eindruck von der Leistung Ihrer Webanwendung oder Ihres Service verschaffen. Allerdings beschränkt die Amazon CloudWatch-Konsole die Suche auf Kennzahlen, die in den letzten 2 Wochen aktualisiert wurden. Diese Einschränkung stellt sicher, dass die aktuellen Aufträge in Ihrem Namensraum aufgeführt werden.

Um Kennzahlen ohne Verwendung einer Suche grafisch darzustellen, geben Sie den exakten Namen in der Quellansicht ein. Sie können auch Alarme einrichten, die auf bestimmte Grenzwerte achten und Benachrichtigungen senden oder Aktivitäten auslösen, wenn diese Grenzwerte erreicht werden. Weitere Informationen finden Sie im Amazon-CloudWatch-Benutzerhandbuch.

Kennzahlen zum Aufrufen von SageMaker-AI-Endpunkten

Der AWS/SageMaker-Namensraum enthält die folgenden Anfragekennzahlen von Aufrufen für InvokeEndpoint.

Die Kennzahlen sind mit einminütiger Frequenz verfügbar.

Die folgende Abbildung zeigt, wie ein SageMaker-AI-Endpunkt mit der Amazon SageMaker Runtime API interagiert. Die Gesamtzeit zwischen dem Absenden einer Anfrage an einen Endpunkt und dem Eingang einer Reaktion hängt von den folgenden drei Komponenten ab.

  • Netzwerklatenz – die Zeit, die zwischen dem Absenden einer Anfrage und dem Eingang einer Reaktion von der SageMaker Runtime API vergeht.

  • Overhead-Latenz – die Zeit, die erforderlich ist, um eine Anfrage an den Modell-Container und die Antwort zurück zur SageMaker Runtime API zu transportieren.

  • Modelllatenz – die Zeit, die der Modell-Container braucht, um die Anfrage zu verarbeiten und eine Antwort zurückzugeben.

Eine Abbildung, die zeigt, dass die Gesamtlatenz die Summe aus Netzwerk-, Overhead- und Modell-Latenzen ist.

Weitere Informationen zur Gesamtlatenz finden Sie unter Bewährte Methoden für Belastungstests von Echtzeit-Inferenz-Endpunkten in Amazon SageMaker AI. Weitere Informationen darüber, wie lange CloudWatch-Kennzahlen gespeichert werden, finden Sie unter GetMetricStatistics in der Amazon CloudWatch-API-Referenz.

Kennzahlen für Endpunktaufrufe

Metrik Beschreibung
ConcurrentRequestsPerCopy

Die Anzahl der gleichzeitigen Anforderungen, die von der Inferenzkomponente empfangen wurden, normalisiert durch jede Kopie einer Inferenzkomponente.

Gültige Statistiken: Min, Max

ConcurrentRequestsPerModel

Die Anzahl der gleichzeitigen Anforderungen, die vom Modell empfangen wurden.

Gültige Statistiken: Min, Max

Invocation4XXErrors

Die Anzahl der InvokeEndpoint-Anforderungen, bei denen das Modell den HTTP-Antwortcode 4xx zurückgegeben hat. Für jede 4xx-Antwort wird der Wert 1 gesendet, andernfalls 0.

Einheiten: keine

Gültige Statistiken: Durchschnitt, Summe

Invocation5XXErrors

Die Anzahl der InvokeEndpoint-Anforderungen, bei denen das Modell den HTTP-Antwortcode 5xx zurückgegeben hat. Für jede 5xx-Antwort wird der Wert 1 gesendet, andernfalls 0.

Einheiten: keine

Gültige Statistiken: Durchschnitt, Summe

InvocationModelErrors

Die Anzahl der Modellaufrufanforderungen, die nicht zu einer 2XX-HTTP-Antwort geführt haben. Dazu gehören 4XX/5XX-Statuscodes, Socket-Fehler auf niedriger Ebene, nicht formgerechte HTTP-Antworten und Zeitüberschreitungen bei Anfragen. Für jede Antwort auf Fehler wird der Wert 1 gesendet, andernfalls 0.

Einheiten: keine

Gültige Statistiken: Durchschnitt, Summe

Invocations

Die Anzahl InvokeEndpoint-Anfragen, die an einen Modell-Endpunkt gesendet wurden.

Mit der Summenstatistik (Sum) können Sie die Gesamtanzahl der an einen Modellendpunkt gesendeten Anforderungen abrufen.

Einheiten: keine

Gültige Statistiken: Summe

InvocationsPerCopy

die Anzahl der Aufrufe, normalisiert durch jede Kopie einer Inferenzkomponente

Gültige Statistiken: Summe

InvocationsPerInstance

Die Anzahl der an ein Modell gesendeten Aufrufe, normalisiert durch InstanceCount in jeder ProductionVariant. 1/numberOfInstances wird als Wert auf jede Anfrage gesendet. Dabei ist numberOfInstancesdie Anzahl der aktiven Instances für die ProductionVariant hinter dem Endpunkt zum Zeitpunkt der Anfrage.

Einheiten: keine

Gültige Statistiken: Summe

ModelLatency

Der Zeitraum, den ein Modell braucht, um auf eine Anforderung der SageMaker Runtime API zu antworten. Dieses Intervall enthält die Zeitspanne für die lokale Kommunikation zum Senden der Anfrage und zum Abrufen der Antwort vom Modell-Container. Es beinhaltet auch die benötigte Zeit, um die Inferenz im Container abzuschließen.

Einheiten: Mikrosekunden

Gültige Statistiken: Durchschnitt, Summe, Minimum, Maximum, Stichprobenzahl, Perzentile

ModelSetupTime

Die zum Starten neuer Ressourcen zur Datenverarbeitung für einen Serverless-Endpunkt erforderliche Zeit. Die Zeit kann je nach Modellgröße, Dauer zum Herunterladen des Modells und Startzeit des Containers variieren.

Einheiten: Mikrosekunden

Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenzahl, Perzentile

OverheadLatency

Der zu der erforderlichen Zeit für die Reaktion auf eine Anfrage vom Client von SageMaker-AI-Overhead hinzugefügte Zeitraum. Dieses Intervall wird ab dem Zeitpunkt gemessen, wo SageMaker AI die Anfrage erhält, bis es dem Client eine Antwort gibt, abzüglich der ModelLatency. Die Overhead-Latenz variiert und ist von mehreren Faktoren abhängig, einschließlich Anforderungs- und Antwortnutzlastgrößen, Anforderungshäufigkeit und Authentifizierung/Autorisierung der Anforderung.

Einheiten: Mikrosekunden

Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl

Dimensionen für Kennzahlen für den Aufruf von Endpunkten

Dimension Beschreibung
EndpointName, VariantName

Filtert die Kennzahlen für den Endpunktaufruf einer ProductionVariant für den angegebenen Endpunkt und die Variante.

InferenceComponentName

Filtert Metriken zum Aufrufen von Inferenzkomponenten.

Metriken für Inferenzkomponenten von SageMaker AI

Der Namespace /aws/sagemaker/InferenceComponents enthält die folgenden Metriken aus Aufrufen von InvokeEndpoint für Endpunkte, die Inferenzkomponenten hosten.

Die Kennzahlen sind mit einminütiger Frequenz verfügbar.

Metrik Beschreibung
CPUUtilizationNormalized

Der Wert der CPUUtilizationNormalized-Metrik, die von jeder Kopie der Inferenzkomponente gemeldet wird. Der Wert liegt zwischen 0 und 100 %. Wenn Sie den Parameter NumberOfCpuCoresRequired in den Einstellungen für die Kopie der Inferenzkomponente festlegen, stellt die Metrik die Auslastung über der Reservierung hinweg dar. Andernfalls stellt die Metrik die Auslastung über dem Grenzwert dar.

GPUMemoryUtilizationNormalized

Der Wert der GPUMemoryUtilizationNormalized-Metrik, die von jeder Kopie der Inferenzkomponente gemeldet wird.

GPUUtilizationNormalized

Der Wert der GPUUtilizationNormalized-Metrik, die von jeder Kopie der Inferenzkomponente gemeldet wird. Wenn Sie den Parameter NumberOfAcceleratorDevicesRequired in den Einstellungen für die Kopie der Inferenzkomponente festlegen, stellt die Metrik die Auslastung über der Reservierung hinweg dar. Andernfalls stellt die Metrik die Auslastung über dem Grenzwert dar.

MemoryUtilizationNormalized

Der von jeder Kopie der Inferenzkomponente gemeldete MemoryUtilizationNormalized-Wert. Wenn Sie den Parameter MinMemoryRequiredInMb in den Einstellungen für die Kopie der Inferenzkomponente festlegen, stellen die Metriken die Auslastung über der Reservierung hinweg dar. Andernfalls stellen die Metriken die Auslastung über dem Grenzwert dar.

Dimensionen für Metriken für Inferenzkomponenten

Dimension Beschreibung
InferenceComponentName

Filtert Metriken für Inferenzkomponenten

Kennzahlen für Multimodell-Endpunkte von SageMaker AI

Der AWS/SageMaker-Namensraum beinhaltet die folgenden Kennzahlen zum Laden von Modellen aus Aufrufen von InvokeEndpoint.

Die Kennzahlen sind mit einminütiger Frequenz verfügbar.

Weitere Informationen darüber, wie lange CloudWatch-Kennzahlen aufbewahrt werden, finden Sie unter GetMetricStatistics in der Amazon CloudWatch API Reference.

Kennzahlen zum Laden von Multimodell-Endpunktmodellen

Metrik Beschreibung
ModelLoadingWaitTime

Der Zeitraum, über den eine Aufrufanforderung darauf gewartet hat, dass das Zielmodell heruntergeladen oder geladen wird, oder beides, um Interferenzen auszuführen.

Einheiten: Mikrosekunden

Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl

ModelUnloadingTime

Der Zeitraum , das zum Entladen des Modells über den UnloadModel-API-Aufruf des Containers erforderlich war.

Einheiten: Mikrosekunden

Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl

ModelDownloadingTime

Die Dauer, die es brauchte, das Modell von Amazon Simple Storage Service (Amazon S3) herunterzuladen.

Einheiten: Mikrosekunden

Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl

ModelLoadingTime

Der Zeitraum , das zum Laden des Modells über den LoadModel-API-Aufruf des Containers erforderlich war.

Einheiten: Mikrosekunden

Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl

ModelCacheHit

Die Anzahl der InvokeEndpoint-Anforderungen, die an den Multimodell-Endpunkt gesendet werden, für die das Modell bereits geladen wurde.

Die Durchschnittsstatistik zeigt das Verhältnis der Anforderungen an, für die das Modell bereits geladen wurde.

Einheiten: keine

Gültige Statistiken: Durchschnitt, Datenstichprobe

Dimensionen für Kennzahlen zum Laden von Multimodell-Endpunktmodellen

Dimension Beschreibung
EndpointName, VariantName

Filtert die Kennzahlen für den Endpunktaufruf einer ProductionVariant für den angegebenen Endpunkt und die Variante.

Die /aws/sagemaker/Endpoints-Namespaces enthalten die folgenden Instance-Kennzahlen aus Aufrufen an InvokeEndpoint.

Die Kennzahlen sind mit einminütiger Frequenz verfügbar.

Weitere Informationen darüber, wie lange CloudWatch-Kennzahlen aufbewahrt werden, finden Sie unter GetMetricStatistics in der Amazon CloudWatch API Reference.

Kennzahlen für Modell-Instances von Multimodell-Endpunkten

Metrik Beschreibung
LoadedModelCount

Die Anzahl der Modelle, die in die Container des Multimodell-Endpunkts geladen werden. Diese Metrik wird pro Instance ausgegeben.

Die Durchschnittsstatistik mit einem Zeitraum von 1 Minute gibt Ihnen die durchschnittliche Anzahl der pro Instance geladenen Modelle an.

Die Summenstatistik gibt Ihnen die Gesamtzahl der Modelle an, die über alle Instances im Endpunkt geladen wurden.

Die Modelle, die von dieser Metrik verfolgt werden, sind nicht unbedingt eindeutig, da ein Modell möglicherweise in mehrere Container am Endpunkt geladen wird.

Einheiten: keine

Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl

Dimensionen für Kennzahlen zum Laden von Multimodell-Endpunktmodellen

Dimension Beschreibung
EndpointName, VariantName

Filtert die Kennzahlen für den Endpunktaufruf einer ProductionVariant für den angegebenen Endpunkt und die Variante.

SageMaker-AI-Jobs und Endpunkt-Kennzahlen

Die Namespaces /aws/sagemaker/ProcessingJobs, /aws/sagemaker/TrainingJobs, /aws/sagemaker/TransformJobs und /aws/sagemaker/Endpoints beinhalten die folgenden Metriken für die Trainingsjobs und Endpunkt-Instances.

Die Kennzahlen sind mit einminütiger Frequenz verfügbar.

Anmerkung

Amazon CloudWatch unterstützt hochauflösende benutzerdefinierte Kennzahlen. Seine feinste Auflösung beträgt 1 Sekunde. Je feiner die Auflösung desto kürzer ist jedoch die Lebensdauer der CloudWatch-Kennzahlen. Für die Frequenzauflösung von 1 Sekunde sind die CloudWatch-Metriken 3 Stunden lang verfügbar. Weitere Informationen zur Auflösung und Lebensdauer der CloudWatch-Metriken finden Sie unter GetMetricStatistics in der Amazon CloudWatch-API-Referenz.

Tipp

Um Ihr Trainingsjob mit einer feineren Auflösung bis zu einer Granularität von 100 Millisekunden (0,1 Sekunden) zu profilieren und die Trainingsmetriken unbegrenzt in Amazon S3 zu speichern, um jederzeit benutzerdefinierte Analysen durchführen zu können, sollten Sie den Amazon SageMaker Debugger in Betracht ziehen. Der SageMaker Debugger bietet integrierte Regeln zur automatischen Erkennung häufiger Trainingsprobleme. Er erkennt Probleme mit der Nutzung von Hardwareressourcen (wie CPU-, GPU- und I/O-Engpässe). Er erkennt auch Probleme mit nicht konvergierenden Modellen (wie Überanpassung, verschwindende Gradienten und explodierende Tensoren). SageMaker Debugger bietet auch Visualisierungen über Studio Classic und seinen Profilerstellungsbericht. Weitere Informationen zu den Debugger-Visualisierungen finden Sie unter SageMaker Debugger Insights Dashboard Walkthrough, Debugger Profiling Report Walkthrough und Analyze Data Using the SMDebug Client Library.

Verarbeitungsauftrag, Trainingsauftrag, Stapeltransformationsauftrag und Endpunkt-Instance-Kennzahlen

Kennzahl Beschreibung
CPUReservation

Die Summe der CPUs, die von Containern auf einer Instance reserviert wurden. Der Wert liegt zwischen 0 und 100 %. In den Einstellungen für eine Inferenzkomponente legen Sie die CPU-Reservierung mit dem NumberOfCpuCoresRequired-Parameter fest. Wenn es beispielsweise 4 CPUs gibt und 2 reserviert sind, liegt der Wert für CPUReservation bei 50 %.

CPUUtilization Die Summe der Auslastung jedes einzelnen CPU-Kerns. Die CPU-Auslastung jedes Kernbereichs liegt zwischen 0 und 100. Sind z. B. vier CPUs vorhanden, kann CPUUtilization im Bereich zwischen 0% und 400% liegen. Bei der Verarbeitung von Aufträgen ist der Wert die CPU-Auslastung des Verarbeitungscontainers auf der Instance.

Bei Trainingsaufträgen bildet dieser Wert die CPU-Auslastung des Algorithmus-Containers auf der Instance ab.

Bei Stapeltransformationsaufträgen bildet dieser Wert die CPU-Auslastung des Umwandlungs-Containers auf der Instance ab.

Bei Endpunktvarianten ist dieser Wert die Summe der CPU-Auslastung von primären und ergänzenden Containern auf der Instance.

Anmerkung

Für Multi-Instance-Jobs meldet jede Instance Kennzahlen zur CPU-Auslastung. Die Standardansicht in CloudWatch zeigt dagegen die durchschnittliche CPU-Auslastung über alle Instances.

Einheiten: Prozent

CPUUtilizationNormalized

Die normalisierte Summe der Auslastung jedes einzelnen CPU-Kerns. Der Wert liegt zwischen 0 und 100 %. Wenn es beispielsweise vier CPUs gibt und der Wert für CPUUtilization bei 200 % liegt, ist der Wert für CPUUtilizationNormalized 50 %.

DiskUtilization

Der Prozentsatz des Speicherplatzes, die von den Containern auf einer Instance verwendet werden. Dieser Wertebereich liegt zwischen 0% und 100%. Diese Metrik wird für Stapeltransformationsaufträge nicht unterstützt.

Bei Verarbeitungsaufträgen ist der Wert die Festplattenspeichernutzung des Verarbeitungscontainers auf der Instance.

Bei Trainingsaufträgen bildet dieser Wert die Speicherplatzauslastung des Algorithmus-Containers auf der Instance ab.

Bei Endpunktvarianten ist dieser Wert die Summe der Speicherplatzauslastung der primären und ergänzenden Container auf der Instance.

Einheiten: Prozent

Anmerkung

Für Multi-Instance-Jobs meldet jede Instance Kennzahlen für die Festplattennutzung. Die Standardansicht in CloudWatch zeigt allerdings die durchschnittliche Festplattennutzung durch alle Instances.

GPUMemoryUtilization

Der Prozentsatz des GPU-Speichers, der von den Containern auf einer Instance belegt wird. Der Wert kann im Bereich zwischen 0 und 100 liegen und wird mit der Anzahl der GPUs multipliziert. Sind z. B. vier GPUs vorhanden, kann GPUMemoryUtilization im Bereich zwischen 0% und 400% liegen.

Bei Verarbeitungsaufträgen ist der Wert die GPU-Speichernutzung des Verarbeitungscontainers auf der Instance.

Bei Trainingsaufträgen bildet dieser Wert die GPU-Speichernutzung des Algorithmus-Containers auf der Instance ab.

Bei Stapeltransformationsaufträgen bildet dieser Wert die GPU-Speicherauslastung des Umwandlungs-Containers auf der Instance ab.

Bei Endpunktvarianten ist dieser Wert die Summe der GPU-Speichernutzung der primären und ergänzenden Container auf der Instance.

Anmerkung

Für Multi-Instance-Jobs meldet jede Instance Kennzahlen zur GPU-Speicherauslastung. Die Standardansicht in CloudWatch zeigt dagegen die durchschnittliche GPU-Speicherauslastung über alle Instances.

Einheiten: Prozent

GPUMemoryUtilizationNormalized

Der normalisierte Prozentsatz des GPU-Speichers, der von den Containern auf einer Instance belegt wird. Der Wert liegt zwischen 0 und 100 %. Wenn es beispielsweise vier GPUs gibt und der Wert für GPUMemoryUtilization bei 200 % liegt, ist der Wert für GPUMemoryUtilizationNormalized 50 %.

GPUReservation

Die Summe der GPUs, die von Containern auf einer Instance reserviert wurden. Der Wert liegt zwischen 0 und 100 %. In den Einstellungen für eine Inferenzkomponente legen Sie die GPU-Reservierung durch NumberOfAcceleratorDevicesRequired fest. Wenn es beispielsweise 4 GPUs gibt und 2 reserviert sind, liegt der Wert für GPUReservation bei 50 %.

GPUUtilization

Der Prozentsatz der GPU-Einheiten, die von den Containern auf einer Instance verwendet werden. Der Wert kann im Bereich zwischen 0 und 100 liegen und wird mit der Anzahl der GPUs multipliziert. Sind z. B. vier GPUs vorhanden, kann GPUUtilization im Bereich zwischen 0% und 400% liegen.

Bei der Verarbeitung von Aufträgen ist der Wert die GPU-Auslastung des Verarbeitungscontainers auf der Instance.

Bei Trainingsaufträgen bildet dieser Wert die GPU-Auslastung des Algorithmus-Containers auf der Instance ab.

Bei Stapeltransformationsaufträgen bildet dieser Wert die GPU-Auslastung des Umwandlungs-Containers auf der Instance ab.

Bei Endpunktvarianten ist dieser Wert die Summe der GPU-Auslastung von primären und ergänzenden Containern auf der Instance.

Anmerkung

Für Multi-Instance-Jobs meldet jede Instance Kennzahlen zur GPU-Auslastung. Die Standardansicht in CloudWatch zeigt dagegen die durchschnittliche GPU-Auslastung über alle Instances.

Einheiten: Prozent

GPUUtilizationNormalized

Der normalisierte Prozentsatz der GPU-Einheiten, die von den Containern auf einer Instance verwendet werden. Der Wert liegt zwischen 0 und 100 %. Wenn es beispielsweise vier GPUs gibt und der Wert für GPUUtilization bei 200 % liegt, ist der Wert für GPUUtilizationNormalized 50 %.

MemoryReservation

Die Summe des Speichers, der von Containern auf einer Instance reserviert wurde. Der Wert liegt zwischen 0 und 100 %. In den Einstellungen für eine Inferenzkomponente legen Sie die Speicherreservierung mit dem MinMemoryRequiredInMb-Parameter fest. Wenn eine 32-GiB-Instance beispielsweise 1024 MB reserviert, liegt die Metrik für MemoryReservation bei 3,125 %.

MemoryUtilization

Der Prozentsatz des Speichers, der von den Containern auf einer Instance belegt wird. Dieser Wertebereich liegt zwischen 0% und 100%.

Bei der Verarbeitung von Aufträgen ist der Wert die Speichernutzung des Verarbeitungscontainers auf der Instance.

Bei Trainingsaufträgen bildet dieser Wert die Speichernutzung des Algorithmus-Containers auf der Instance ab.

Bei Stapeltransformationsaufträgen bildet dieser Wert die Speichernutzung des Umwandlungs-Containers auf der Instance ab.

Bei Endpunktvarianten ist dieser Wert die Summe der Speichernutzung der primären und ergänzenden Container auf der Instance.

Einheiten: Prozent

Anmerkung

Für Multi-Instance-Jobs meldet jede Instance Kennzahlen zur Speicherauslastung. Die Standardansicht in CloudWatch zeigt dagegen die durchschnittliche Speicherauslastung über alle Instances.

Dimensionen für die Instance-Kennzahlen für Verarbeitungsaufträge, Trainingsaufträge und Stapeltransformationsaufträge

Dimension Beschreibung
Host

Bei Verarbeitungsaufträgen wird der Wert für diese Dimension im Format [processing-job-name]/algo-[instance-number-in-cluster] angegeben. Mit dieser Dimension können Sie Instance-Kennzahlen für angegebenen Verarbeitungsauftrag und Instance filtern. Dieses Dimensionsformat ist nur im Namensraum /aws/sagemaker/ProcessingJobs vorhanden.

Bei Trainingsaufträgen wird der Wert für diese Dimension im Format [training-job-name]/algo-[instance-number-in-cluster] angegeben. Mit dieser Dimension können Sie Instance-Kennzahlen für den angegebenen Trainingsauftrag und die Instance filtern. Dieses Dimensionsformat ist nur im Namensraum /aws/sagemaker/TrainingJobs vorhanden.

Bei Stapeltransformationsaufträgen wird der Wert für diese Dimension im Format [transform-job-name]/[instance-id] angegeben. Mit dieser Dimension können Sie Instance-Kennzahlen für den angegebenen Stapeltransformationsauftrag und die Instance filtern. Dieses Dimensionsformat ist nur im Namensraum /aws/sagemaker/TransformJobs vorhanden.

Metriken für Inferenzempfehlungsjobs von SageMaker

Der /aws/sagemaker/InferenceRecommendationsJobs-Namensraum enthält die folgenden Kennzahlen für Inference-Empfehlungs-Jobs.

Inference-Recommender-Kennzahlen

Metrik Beschreibung
ClientInvocations

Die vom Inference Recommender beobachtete Anzahl der an einen Modell-Endpunkt gesendeten InvokeEndpoint Anfragen.

Einheiten: keine

Gültige Statistiken: Summe

ClientInvocationErrors

Die vom Inference Recommender beobachtete Anzahl der fehlgeschlagenen InvokeEndpoint Anfragen.

Einheiten: keine

Gültige Statistiken: Summe

ClientLatency

Das vom Inference Recommender beobachtete Zeitintervall zwischen dem Absenden eines InvokeEndpoint Aufrufs und dem Empfang einer Antwort. Beachten Sie, dass die Zeit in Millisekunden angegeben wird, während die Kennzahl für den ModelLatency Aufruf des Endpunkts in Mikrosekunden angegeben ist.

Einheiten: Millisekunden

Gültige Statistiken: Durchschnitt, Summe, Minimum, Maximum, Stichprobenzahl, Perzentile

NumberOfUsers

Die Anzahl der gleichzeitigen Benutzer, die InvokeEndpoint Anfragen an den Modell-Endpunkt senden.

Einheiten: keine

Gültige Statistiken: Maximum, Minimum, Durchschnitt

Dimensionen für Inference-Recommender-Job-Kennzahlen

Dimension Beschreibung
JobName

Filtert die Kennzahlen für den Inference-Recommender-Job für den angegebenen Inference-Recommender-Job.

EndpointName

Filtert die Kennzahlen für Inference-Recommender-Jobs für den angegebenen Endpunkt.

Ground-Truth-Kennzahlen für SageMaker

Ground-Truth-Kennzahlen

Metrik Beschreibung
ActiveWorkers

Nur ein einziger aktiver Mitarbeiter in einem privaten Arbeitsteam hat eine Aufgabe eingereicht, freigegeben oder abgelehnt. Verwenden Sie die Summenstatistik, um die Gesamtzahl der aktiven Arbeiter zu erhalten. Ground Truth versucht, jedes einzelne ActiveWorkers-Ereignis einmal bereitzustellen. Wenn diese Bereitstellung erfolglos ist, gibt diese Kennzahl ggf. nicht die Gesamtzahl der aktiven Worker an.

Einheiten: keine

Gültige Statistiken: Summe, Stichprobenanzahl

DatasetObjectsAutoAnnotated

Die Anzahl der Datensatz-Objekte, die in einem Etikettierungsauftrag automatisch mit Anmerkungen versehen werden. Diese Metrik wird nur ausgegeben, wenn die automatisierte Etikettierung aktiviert ist. Um den Fortschritt des Etikettierungsauftrags anzuzeigen, verwenden Sie die Max-Metrik.

Einheiten: keine

Gültige Statistiken: Max

DatasetObjectsHumanAnnotated

Die Anzahl der Datensatz-Objekte, die in einem Etikettierungsauftrag durch eine Person mit Anmerkungen versehen werden. Um den Fortschritt des Etikettierungsauftrags anzuzeigen, verwenden Sie die Max-Metrik.

Einheiten: keine

Gültige Statistiken: Max

DatasetObjectsLabelingFailed

Die Anzahl der Datensatz-Objekte, deren Etikettierung in einem Etikettierungsauftrag fehlgeschlagen ist. Um den Fortschritt des Etikettierungsauftrags anzuzeigen, verwenden Sie die Max-Metrik.

Einheiten: keine

Gültige Statistiken: Max

JobsFailed

Nur ein einziger Etikettierungsauftrag ist fehlgeschlagen. Um die Gesamtzahl der fehlgeschlagenen Etikettierungsaufträge zu erhalten, verwenden Sie die Summenstatistik.

Einheiten: keine

Gültige Statistiken: Summe, Stichprobenanzahl

JobsSucceeded

Nur ein einziger Etikettierungsauftrag war erfolgreich. Um die Gesamtzahl der erfolgreich durchgeführten Etikettierungsaufträge zu erhalten, verwenden Sie die Summenstatistik.

Einheiten: keine

Gültige Statistiken: Summe, Stichprobenanzahl

JobsStopped

Nut ein einziger Etikettierungsauftrag wurde gestoppt. Um die Gesamtzahl der angehaltenen Etikettierungsaufträge zu erhalten, verwenden Sie die Summenstatistik.

Einheiten: keine

Gültige Statistiken: Summe, Stichprobenanzahl

TasksAccepted

Von einem Mitarbeiter wurde eine einzige Aufgabe akzeptiert. Verwenden Sie die Summenstatistik, um die Gesamtzahl der von Mitarbeitern akzeptierten Aufgaben zu erhalten. Ground Truth versucht, jedes einzelne TaskAccepted Ereignis einmal durchzuführen. Wenn diese Lieferung erfolglos ist, gibt diese Kennzahl ggf. nicht die Gesamtzahl der akzeptierten Aufgaben an.

Einheiten: keine

Gültige Statistiken: Summe, Stichprobenanzahl

TasksDeclined

Von einem Mitarbeiter wurde eine einzige Aufgabe abgelehnt. Verwenden Sie die Summenstatistik, um die Gesamtzahl der von Mitarbeitern abgelehnten Aufgaben zu erhalten. Ground Truth versucht, jedes einzelne TasksDeclined Ereignis einmal durchzuführen. Wenn diese Lieferung erfolglos ist, gibt diese Kennzahl ggf. nicht die Gesamtzahl der abgelehnten Aufgaben an.

Einheiten: keine

Gültige Statistiken: Summe, Stichprobenanzahl

TasksReturned

Eine einzige Aufgabe wurde zurückgegeben. Verwenden Sie die Summenstatistik, um die Gesamtzahl der zurückgegebenen Aufgaben zu erhalten. Ground Truth versucht, jedes einzelne TasksReturned Ereignis einmal durchzuführen. Wenn diese Lieferung erfolglos ist, gibt diese Kennzahl ggf. nicht die Gesamtzahl der zurückgegebenen Aufgaben an.

Einheiten: keine

Gültige Statistiken: Summe, Stichprobenanzahl

TasksSubmitted

Eine einzige Aufgabe wurde von einem privaten Mitarbeiter eingereicht/abgeschlossen. Verwenden Sie die Summenstatistik, um die Gesamtzahl der von Mitarbeitern zurückgegebenen Aufgaben zu erhalten. Ground Truth versucht, jedes einzelne TasksSubmitted Ereignis einmal durchzuführen. Wenn diese Lieferung erfolglos ist, gibt diese Kennzahl ggf. nicht die Gesamtzahl der eingereichten Aufgaben an.

Einheiten: keine

Gültige Statistiken: Summe, Stichprobenanzahl

TimeSpent

Die für eine Aufgabe aufgewendete Zeit, die von einem privaten Arbeiter abgeschlossen wurde. Diese Kennzahl beinhaltet nicht die Zeit, in der ein Mitarbeiter eine Pause einlegte. Ground Truth versucht, jedes TimeSpent Ereignis einmal abzuliefern. Wenn diese Lieferung erfolglos ist, gibt diese Kennzahl ggf. nicht die aufgewendete Gesamtzeit an.

Einheiten: Sekunden

Gültige Statistiken: Summe, Stichprobenanzahl

TotalDatasetObjectsLabeled

Die Anzahl der Datensatz-Objekte, deren Etikettierung in einem Etikettierungsauftrag erfolgreich war. Um den Fortschritt des Etikettierungsauftrags anzuzeigen, verwenden Sie die Max-Metrik.

Einheiten: keine

Gültige Statistiken: Max

Dimensionen für Datensatz-Objekt-Kennzahlen

Dimension Beschreibung
LabelingJobName

Filtert die Kennzahlen für die Datensatz-Objektanzahl eines Etikettierungsauftrags.

Kennzahlen vom Amazon SageMaker Feature Store

Feature-Store-Verbrauchskennzahlen

Metrik Beschreibung
ConsumedReadRequestsUnits

Die Anzahl über den angegebenen Zeitraum verbrauchten Leseeinheiten. Sie können die verbrauchten Leseeinheiten für einen Laufzeitvorgang des Feature-Stores und die dazugehörige Feature-Gruppe abrufen.

Einheiten: keine

Gültige Statistiken: Alle

ConsumedWriteRequestsUnits

Die Anzahl der über den angegebenen Zeitraum verbrauchten Schreibeinheiten. Sie können die verbrauchten Schreibeinheiten für einen Laufzeitvorgang des Feature-Stores und die dazugehörige Feature-Gruppe abrufen.

Einheiten: keine

Gültige Statistiken: Alle

ConsumedReadCapacityUnits

Die Anzahl der bereitgestellten Lesekapazitätseinheiten, die über den angegebenen Zeitraum verbraucht wurden. Sie können die verbrauchten Lesekapazitätseinheiten für einen Laufzeitvorgang des Feature Store und die dazugehörige Feature-Gruppe abrufen.

Einheiten: keine

Gültige Statistiken: Alle

ConsumedWriteCapacityUnits

Die Anzahl der bereitgestellten Schreibkapazitätseinheiten, die über den angegebenen Zeitraum verbraucht wurden. Sie können die verbrauchten Schreibkapazitätseinheiten für einen Laufzeitvorgang des Feature Store und die dazugehörige Feature-Gruppe abrufen.

Einheiten: keine

Gültige Statistiken: Alle

Dimensionen für Verbrauchskennzahlen für den Feature-Store

Dimension Beschreibung
FeatureGroupName, OperationName

Filtert Laufzeitverbrauchskennzahlen zum Feature-Store der Feature-Gruppe und des von Ihnen angegebenen Vorgangs.

Betriebskennzahlen zum Feature-Store

Metrik Beschreibung
Invocations

Die Anzahl der im angegebenen Zeitraum an den Feature-Store-Laufzeitbetrieb gestellten Anfragen.

Einheiten: keine

Gültige Statistiken: Summe

Operation4XXErrors

Die Anzahl der an den Feature-Store-Laufzeitbetrieb gestellten Anfragen, bei denen der Vorgang einen Antwortcode 4xx HTTP zurückgegeben hat. Für jede 4xx-Antwort wird der Wert 1 gesendet, andernfalls 0.

Einheiten: keine

Gültige Statistiken: Durchschnitt, Summe

Operation5XXErrors

Die Anzahl der an den Feature-Store-Laufzeitbetrieb gestellten Anfragen, bei denen der Vorgang einen Antwortcode 5xx HTTP zurückgegeben hat. Für jede 5xx-Antwort wird der Wert 1 gesendet, andernfalls 0.

Einheiten: keine

Gültige Statistiken: Durchschnitt, Summe

ThrottledRequests

Die Anzahl der an den Feature-Store-Laufzeitbetrieb gestellten Anfragen, bei denen die Anfrage gedrosselt wurde. Für jede gedrosselte Anfrage wird 1 gesendet, andernfalls 0.

Einheiten: keine

Gültige Statistiken: Durchschnitt, Summe

Latency

Der Zeitraum für die Verarbeitung von Anfragen an den Feature-Store-Laufzeitbetrieb. Dieses Intervall wird ab dem Zeitpunkt gemessen, wo SageMaker AI die Anfrage erhält, bis es dem Client eine Antwort gibt.

Einheiten: Mikrosekunden

Gültige Statistiken: Durchschnitt, Summe, Minimum, Maximum, Stichprobenzahl, Perzentile

Dimensionen für Betriebskennzahlen des Feature Store

Dimension Beschreibung

FeatureGroupName, OperationName

Filtert die Betriebskennzahlen der Feature-Store-Laufzeit der Feature-Gruppe und des von Ihnen angegebenen Vorgangs. Sie können diese Dimensionen für Vorgänge verwenden, die keine Stapeloperationen sind, z. B. GetRecord, PutRecord und DeleteRecord.
OperationName

Filtert die Betriebskennzahlen der Feature-Store-Laufzeit für den von Ihnen angegebenen Vorgang. Sie können diese Dimension für Stapelvorgänge wie BatchGetRecord verwenden.

Kennzahlen zu SageMaker-Pipelines

Der Namensraum AWS/Sagemaker/ModelBuildingPipeline enthält die folgenden Kennzahlen für die Ausführung von Pipelines.

Zwei Kategorien von Kennzahlen zur Ausführung von Pipeline stehen zur Verfügung:

  • Ausführungskennzahlen für alle Pipelines – Kennzahlen zur Pipeline-Ausführung auf Kontoebene (für alle Pipelines im aktuellen Konto)

  • Ausführungskennzahlen nach Pipeline – Kennzahlen zur Pipeline-Ausführung je Pipeline

Die Kennzahlen sind mit einminütiger Frequenz verfügbar.

Kennzahlen zur Ausführung von Pipelines

Metrik Beschreibung
ExecutionStarted

Die Anzahl der Pipeline-Ausführungen, die begonnen haben.

Einheiten: Anzahl

Gültige Statistiken: Durchschnitt, Summe

ExecutionFailed

Die Anzahl der Pipeline-Ausführungen, die fehlgeschlagen sind.

Einheiten: Anzahl

Gültige Statistiken: Durchschnitt, Summe

ExecutionSucceeded

Die Anzahl der Pipeline-Ausführungen, die erfolgreich waren.

Einheiten: Anzahl

Gültige Statistiken: Durchschnitt, Summe

ExecutionStopped

Die Anzahl der Pipeline-Ausführungen, die abgebrochen wurden.

Einheiten: Anzahl

Gültige Statistiken: Durchschnitt, Summe

ExecutionDuration

Die Dauer in Millisekunden, für die die Pipeline-Ausführung lief.

Einheiten: Millisekunden

Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl

Dimensionen für Ausführungskennzahlen nach Pipeline

Dimension Beschreibung
PipelineName

Filtert Kennzahlen zur Pipeline-Ausführung für eine angegebene Pipeline.

Kennzahlen für Pipeline-Schritte

Der Namensraum AWS/Sagemaker/ModelBuildingPipeline enthält die folgenden Kennzahlen für Pipeline-Schritte.

Die Kennzahlen sind mit einminütiger Frequenz verfügbar.

Metrik Beschreibung
StepStarted

Die Anzahl der Schritte, die begonnen haben.

Einheiten: Anzahl

Gültige Statistiken: Durchschnitt, Summe

StepFailed

Die Anzahl der Schritte, die fehlgeschlagen sind.

Einheiten: Anzahl

Gültige Statistiken: Durchschnitt, Summe

StepSucceeded

Die Anzahl der Schritte, die erfolgreich waren.

Einheiten: Anzahl

Gültige Statistiken: Durchschnitt, Summe

StepStopped

Die Anzahl der Schritte, die abgebrochen wurden.

Einheiten: Anzahl

Gültige Statistiken: Durchschnitt, Summe

StepDuration

Die Dauer in Millisekunden, für die der Schritt lief.

Einheiten: Millisekunden

Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl

Dimensionen für Schrittkennzahlen für Pipelines

Dimension Beschreibung
PipelineName, StepName

Filtert Schrittkennzahlen für eine angegebene Pipeline und den jeweiligen Schritt.