Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

# SageMaker Folgerung
<a name="nova-model-sagemaker-inference"></a>

Benutzerdefinierte Amazon Nova-Modelle sind jetzt auf SageMaker Inference verfügbar. Wenn Amazon Nova aktiviert ist SageMaker, können Sie damit beginnen, Prognosen oder Schlussfolgerungen aus Ihren trainierten benutzerdefinierten Amazon Nova-Modellen zu ziehen. SageMaker bietet eine breite Auswahl an Optionen zur ML-Infrastruktur und Modellbereitstellung, um all Ihren Anforderungen an ML-Inferenz gerecht zu werden. Mit SageMaker Inferenz können Sie Ihre Modellbereitstellung skalieren, Modelle in der Produktion effektiver verwalten und den betrieblichen Aufwand reduzieren.

SageMaker bietet Ihnen verschiedene Inferenzoptionen, z. B. Echtzeit-Endpunkte für Inferenzen mit geringer Latenz und asynchrone Endpunkte für Batches von Anfragen. Indem Sie die für Ihren Anwendungsfall geeignete Inferenzoption nutzen, können Sie eine effiziente Modellbereitstellung und Inferenz sicherstellen. [Weitere Informationen zur Inferenz finden Sie unter Bereitstellen von Modellen für SageMaker Inferenz.](https://docs.aws.amazon.com//sagemaker/latest/dg/deploy-model.html)

**Wichtig**  
Bei der Inferenz werden nur benutzerdefinierte Modelle mit vollem Rang und mit LoRa zusammengeführte Modelle unterstützt. SageMaker Verwenden Sie Amazon Bedrock für LoRa-Modelle und Basismodelle, die nicht zusammengeführt wurden.

## Features
<a name="nova-sagemaker-inference-features"></a>

Die folgenden Funktionen sind für Amazon Nova-Modelle auf SageMaker Inferenz verfügbar:

**Funktionen des Modells**
+ Textgenerierung

**Bereitstellung und Skalierung**
+ Echtzeit-Endpunkte mit benutzerdefinierter Instanzauswahl
+ Auto Scaling — Passen Sie die Kapazität automatisch an die Verkehrsmuster an, um Kosten und GPU-Auslastung zu optimieren. Weitere Informationen finden Sie unter [Automatisches Skalieren von SageMaker Amazon-Modellen](https://docs.aws.amazon.com//sagemaker/latest/dg/endpoint-auto-scaling.html).
+ Streaming-API-Unterstützung für die Token-Generierung in Echtzeit

**Überwachung und Optimierung**
+  CloudWatch Amazon-Integration für Überwachung und Benachrichtigungen
+ Latenzoptimierung unter Berücksichtigung der Availability Zone durch VPC-Konfiguration

**Entwicklungstools**
+ AWS CLI support — Weitere Informationen finden Sie in der [AWS CLI-Befehlsreferenz für SageMaker](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/).
+  Notebook-Integration über SDK-Unterstützung

## Unterstützte Modelle und Instanzen
<a name="nova-sagemaker-inference-supported"></a>

Bei der Erstellung Ihrer SageMaker Inferenzendpunkte können Sie zwei Umgebungsvariablen festlegen, um Ihre Bereitstellung zu konfigurieren: `CONTEXT_LENGTH` und. `MAX_CONCURRENCY`
+ `CONTEXT_LENGTH`— Maximale Gesamtlänge des Tokens (Eingabe \$1 Ausgabe) pro Anfrage
+ `MAX_CONCURRENCY`— Maximale Anzahl gleichzeitiger Anfragen, die der Endpunkt bearbeiten wird

In der folgenden Tabelle sind die unterstützten Amazon Nova-Modelle, Instance-Typen und unterstützten Konfigurationen aufgeführt. Die MAX\$1CONCURRENCY-Werte stellen die maximale unterstützte Parallelität für jede CONTEXT\$1LENGTH-Einstellung dar:


****  
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/de_de/nova/latest/nova2-userguide/nova-model-sagemaker-inference.html)

**Anmerkung**  
In Fällen, in denen eine FP8 Quantisierung erforderlich ist, ist sie standardmäßig aktiviert.  
Die angezeigten MAX\$1CONCURRENCY-Werte sind Obergrenzen für jede CONTEXT\$1LENGTH-Einstellung. Sie können niedrigere Kontextlängen bei derselben Parallelität verwenden, aber eine Überschreitung dieser Werte führt dazu, dass die Endpunkterstellung fehlschlägt. SageMaker   
Zum Beispiel auf Amazon Nova Micro mit einem ml.g5.12xlarge:  
`CONTEXT_LENGTH=2000``MAX_CONCURRENCY=12`, → Gültig
`CONTEXT_LENGTH=8000`, `MAX_CONCURRENCY=12` → Abgelehnt (Parallelitätslimit ist 6 bei einer Kontextlänge von 8000)
`CONTEXT_LENGTH=8000`, `MAX_CONCURRENCY=4` → Gültig
`CONTEXT_LENGTH=8000`, `MAX_CONCURRENCY=6` → Gültig
`CONTEXT_LENGTH=10000`→ Abgelehnt (die maximale Kontextlänge beträgt 8000 auf dieser Instanz)

## Unterstützte AWS Regionen
<a name="nova-sagemaker-inference-regions"></a>

In der folgenden Tabelle sind die AWS Regionen aufgeführt, in denen Amazon Nova-Modelle auf SageMaker Inferenz verfügbar sind:


****  

| Name der Region | Regionscode | Verfügbarkeit | 
| --- | --- | --- | 
| USA Ost (Nord-Virginia) | us-east-1 | Available (Verfügbar) | 
| USA West (Oregon) | us-west-2 | Available (Verfügbar) | 

## Unterstützte Container-Images
<a name="nova-sagemaker-inference-container-images"></a>

In der folgenden Tabelle ist das Container-Image URIs für Amazon Nova-Modelle nach SageMaker Inferenz nach Regionen aufgeführt.


****  

| Region | Container-Bild URIs | 
| --- | --- | 
| us-east-1 | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest | 
| us-west-2 | 176779409107.dkr.ecr.us-west-2.amazonaws.com/nova-inference-repo:SM-Inference-latest | 

## Bewährte Methoden
<a name="nova-sagemaker-inference-best-practices"></a>

Bewährte Methoden für die Bereitstellung und Verwaltung von Modellen auf SageMaker finden Sie unter [Bewährte Methoden für SageMaker](https://docs.aws.amazon.com//sagemaker/latest/dg/best-practices.html).

## Support
<a name="nova-sagemaker-inference-support"></a>

Bei Problemen und Support mit Amazon Nova-Modellen auf SageMaker Inferenz wenden Sie sich über die Konsole oder Ihren AWS Kundenbetreuer an den AWS Support.

**Topics**
+ [Features](#nova-sagemaker-inference-features)
+ [Unterstützte Modelle und Instanzen](#nova-sagemaker-inference-supported)
+ [Unterstützte AWS Regionen](#nova-sagemaker-inference-regions)
+ [Unterstützte Container-Images](#nova-sagemaker-inference-container-images)
+ [Bewährte Methoden](#nova-sagemaker-inference-best-practices)
+ [Support](#nova-sagemaker-inference-support)
+ [Erste Schritte](nova-sagemaker-inference-getting-started.md)
+ [API-Referenz](nova-sagemaker-inference-api-reference.md)
+ [Evaluieren Sie auf SageMaker Inference gehostete Modelle](nova-eval-on-sagemaker-inference.md)
+ [Einsatz von Amazon Nova Forge-Modellen bei der Missbrauchserkennung von Amazon SageMaker Inference](nova-sagemaker-inference-abuse-detection.md)