Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verbesserte Amazon SageMaker AI-Metriken für Inferenzendpunkte

Verbesserte Metriken bieten Überwachungsdaten auf Instance- und Container-Ebene für Amazon SageMaker AI-Echtzeit-Endpunkte. Wenn Sie erweiterte Metriken aktivieren, können CloudWatch Amazon-Metriken AcceleratorId Dimensionen und Dimensionen (Verfügbarkeit variiert je nach Namespace) beinhalten InstanceIdContainerId, um eine detaillierte Sichtbarkeit pro Instance, pro Container und pro GPU zu gewährleisten. Erweiterte Metriken sind für Einzelmodell-Endpunkte und Inferenzkomponenten verfügbar. Multi-Container Endpoints (MCE) unterstützen erweiterte Metriken auf Instanzebene, aber keine Metriken auf Container-Ebene.

Hauptmerkmale erweiterter Metriken:

Erweiterte Metriken aktivieren

Sie aktivieren erweiterte MetrikenEnableEnhancedMetrics, True indem Sie beim Aufruf der CreateEndpointConfigAPI den MetricsConfigParameter auf einstellen.

Der MetricsConfig Parameter hat die folgenden Felder:

Um erweiterte Metriken auf einem vorhandenen Endpunkt zu aktivieren, erstellen Sie eine neue Endpunktkonfiguration mit den gewünschten MetricsConfig Einstellungen und rufen Sie dann UpdateEndpointmit dem neuen Namen der Endpunktkonfiguration auf. Dies löst eine blue/green oder fortlaufende Bereitstellung aus. Verbesserte Messwerte werden erst angezeigt, wenn die Bereitstellung abgeschlossen ist. Derselbe Vorgang gilt, wenn MetricsConfig Einstellungen auf einem bereits konfigurierten Endpunkt geändert werden.

Wenn Sie beides konfigurieren MetricsConfig DescribeEndpointund MetricsConfig in der DescribeEndpointConfigAntwort zurückkehren.

Wenn Sie erweiterte Metriken aktivieren, fügt SageMaker KI den Metriken in drei CloudWatch Namespaces zusätzliche Dimensionen hinzu: /aws/sagemaker/Endpoints für Nutzungsmetriken, für Aufrufmetriken und AWS/SageMaker /aws/sagemaker/InferenceComponents für Nutzungsmetriken von Inferenzkomponenten.

Instance-level Nutzungsmetriken

Der /aws/sagemaker/Endpoints Namespace umfasst Nutzungsmetriken für alle Echtzeit-Endpunkte, einschließlich solcher, die Inferenzkomponenten verwenden. Wenn Sie erweiterte Metriken aktivieren, werden die Dimensionen InstanceId und AcceleratorId (nur GPU-Metriken) neben den vorhandenen Namespace-Dimensionen verfügbar. Eine vollständige Liste der Metriken und Dimensionen finden Sie unterSageMaker KI-Endpunktmetriken.

Wenn Sie erweiterte Metriken aktivieren, sind die folgenden zusätzlichen Dimensionen verfügbar:

Aufrufmetriken auf Instanz- und Containerebene

Der AWS/SageMaker Namespace umfasst Aufrufmetriken. Wenn Sie erweiterte Metriken aktivieren, werden die Dimensionen InstanceId und ContainerId (nur Inferenzkomponenten) neben den vorhandenen Namespace-Dimensionen verfügbar. Eine vollständige Liste der Metriken und Dimensionen finden Sie unter. SageMaker Metriken zum Aufrufen von KI-Endpunkten

Wenn Sie erweiterte Metriken aktivieren, sind die folgenden zusätzlichen Dimensionen verfügbar:

Container-level Nutzungsmetriken

Der /aws/sagemaker/InferenceComponents Namespace umfasst Nutzungsmetriken für Endpunkte, die Inferenzkomponenten verwenden. Wenn Sie erweiterte Metriken aktivieren, werden die Dimensionen InstanceIdContainerId, und AcceleratorId (nur GPU-Metriken) neben den vorhandenen Namespace-Dimensionen verfügbar. Eine vollständige Liste der Metriken und Dimensionen finden Sie unterSageMaker Metriken für KI-Inferenzkomponenten.

Wenn Sie erweiterte Metriken aktivieren, sind die folgenden zusätzlichen Dimensionen verfügbar:

Konfigurierbare metrische Frequenz

Sie können das Intervall konfigurieren, in dem Metriken veröffentlicht werden CloudWatch. Die Standardfrequenz beträgt 60 Sekunden.

Gültige Werte: 10, 30, 60, 120, 180, 240 oder 300 Sekunden.

Wenn auf eingestellt EnableEnhancedMetrics istFalse, gilt diese Häufigkeit nur für Nutzungsmetriken. Aufrufmetriken werden weiterhin im Standardintervall von 60 Sekunden veröffentlicht. Wenn auf gesetztTrue, gilt diese Frequenz sowohl für Nutzungs- als auch für Aufrufmetriken.

CloudWatch Die Standardpreise gelten pro Metrik pro eindeutiger Dimensionskombination. Verbesserte Metriken erhöhen die Anzahl der Metrik-Streams, da jede Instance, jeder Container und jede GPU zusätzliche Dimensionskombinationen erstellt. Preisdetails finden Sie unter CloudWatch Amazon-Preise.

Codebeispiele: Konfigurieren Sie erweiterte Metriken

Die folgenden Beispiele zeigen, wie Sie eine Endpunktkonfiguration mit aktivierten erweiterten Metriken erstellen und wie die Konfiguration überprüft wird.

Erstellen Sie eine Endpunktkonfiguration mit erweiterten Metriken

AWS SDK for Python (Boto3)

Beispiel Erstellen Sie eine Endpunktkonfiguration mit erweiterten Metriken

import boto3

sagemaker_client = boto3.client('sagemaker')

response = sagemaker_client.create_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config',
    ProductionVariants=[
        {
            'VariantName': 'AllTraffic',
            'ModelName': 'my-model',
            'InstanceType': 'ml.m5.xlarge',
            'InitialInstanceCount': 2,
        }
    ],
    MetricsConfig={
        'EnableEnhancedMetrics': True,
        'MetricPublishFrequencyInSeconds': 60
    }
)

AWS CLI

Beispiel Erstellen Sie eine Endpunktkonfiguration mit erweiterten Metriken

aws sagemaker create-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --production-variants file://production-variants.json \
    --metrics-config file://metrics-config.json

Wobei metrics-config.json Folgendes enthält:

{
    "EnableEnhancedMetrics": true,
    "MetricPublishFrequencyInSeconds": 60
}

Überprüfen Sie die Konfiguration der erweiterten Metriken

AWS SDK for Python (Boto3)

BeispielÜberprüfen Sie die Konfiguration der erweiterten Metriken

response = sagemaker_client.describe_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config'
)
print(response['MetricsConfig'])
# {'EnableEnhancedMetrics': True, 'MetricPublishFrequencyInSeconds': 60}

response = sagemaker_client.describe_endpoint(
    EndpointName='my-endpoint'
)
print(response['MetricsConfig'])

AWS CLI

BeispielÜberprüfen Sie die Konfiguration der erweiterten Metriken

aws sagemaker describe-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --query 'MetricsConfig'

aws sagemaker describe-endpoint \
    --endpoint-name my-endpoint \
    --query 'MetricsConfig'