Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Frameworks und Sprachen für Machine Learning
Amazon SageMaker AI bietet native Unterstützung für beliebte Programmiersprachen und Frameworks für maschinelles Lernen, sodass Entwickler und Datenwissenschaftler ihre bevorzugten Tools und Technologien nutzen können. Dieser Abschnitt enthält Referenzen für die Arbeit mit Python und R sowie deren jeweiligen Software Development Kits (SDKs) innerhalb von SageMaker KI. Darüber hinaus deckt es eine breite Palette von Frameworks für maschinelles Lernen und Deep Learning ab, darunter Apache MXNet, PyTorch, TensorFlow.
Sie können Python und R nativ in SageMaker Amazon-Notebook-Kerneln verwenden. Es gibt auch Kernel, die spezifische Frameworks unterstützen. Eine sehr beliebte Methode, um mit SageMaker KI zu beginnen, ist die Verwendung des [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable). Es bietet Open-Source-Python APIs und Container, die das Trainieren und Bereitstellen von Modellen in SageMaker KI vereinfachen, sowie Beispiele für die Verwendung mit verschiedenen Frameworks für maschinelles Lernen und Deep Learning.
Informationen zur Verwendung bestimmter Frameworks oder zur Verwendung von R in SageMaker KI finden Sie in den folgenden Themen.
Sprachen SDKs und Benutzerhandbücher:
+ [Amazon SageMaker Python-SDK](https://sagemaker.readthedocs.io/en/stable)
+ [R](r-guide.md)
+ [API-Referenz](api-and-sdk-reference.md)
Leitfäden für Machine-Learning- und Deep-Learning-Frameworks:
+ [Apache MXNet](mxnet.md)
+ [Apache Spark](apache-spark.md)
+ [Chainer](chainer.md)
+ [Hugging Face](hugging-face.md)
+ [PyTorch](pytorch.md)
+ [Scikit-learn](sklearn.md)
+ [SparkML Serving](sparkml-serving.md)
+ [TensorFlow](tf.md)
+ [Triton Inferenzserver](triton.md)
# Ressourcen für die Verwendung von Apache MXNet mit Amazon SageMaker AI
Die [Amazon SageMaker Python MXNet SDK-Schätzer](https://sagemaker.readthedocs.io/en/stable) und -Modelle sowie der SageMaker MXNet KI-Open-Source-Container erleichtern das Schreiben eines MXNet Skripts und dessen Ausführung in SageMaker KI. Der folgende Abschnitt enthält Referenzmaterial, anhand dessen Sie lernen können, wie Sie mithilfe von SageMaker KI mithilfe von benutzerdefiniertem MXNet Code ein Modell trainieren und bereitstellen können.
## Was möchten Sie tun?
Ich möchte ein benutzerdefiniertes MXNet Modell in SageMaker KI trainieren.
Die Dokumentation finden Sie unter [Trainiere ein Modell mit MXNet](https://sagemaker.readthedocs.io/en/stable/using_mxnet.html#train-a-model-with-mxnet).
Ich habe ein MXNet Modell, das ich in SageMaker KI trainiert habe, und ich möchte es auf einem gehosteten Endpunkt bereitstellen.
Weitere Informationen finden Sie unter [ MXNet Modelle bereitstellen](https://sagemaker.readthedocs.io/en/stable/using_mxnet.html#deploy-mxnet-models).
Ich habe ein MXNet Modell, das ich außerhalb von SageMaker KI trainiert habe, und ich möchte es auf einem SageMaker KI-Endpunkt einsetzen
Weitere Informationen finden Sie unter [Bereitstellen von Endpunkten aus Modelldaten](https://sagemaker.readthedocs.io/en/stable/using_mxnet.html#deploy-endpoints-from-model-data).
Ich möchte die API-Dokumentation für [Amazon SageMaker Python MXNet SDK-Klassen](https://sagemaker.readthedocs.io/en/stable) sehen.
Weitere Informationen finden Sie unter [MXNet Klassen](https://sagemaker.readthedocs.io/en/stable/frameworks/mxnet/sagemaker.mxnet.html).
Ich möchte das SageMaker MXNet AI-Container-Repository finden.
Weitere Informationen finden Sie unter [SageMaker AI MXNet Container GitHub Repository](https://github.com/aws/sagemaker-mxnet-container).
Ich möchte Informationen zu MXNet Versionen finden, die von AWS Deep Learning Containers unterstützt werden.
Weitere Informationen finden Sie unter [Verfügbare Deep-Learning-Container-Images](https://github.com/aws/deep-learning-containers/blob/master/available_images.md).
Allgemeine Informationen zum Schreiben von Trainingsskripten für den MXNet Skriptmodus und zur Verwendung von Schätzern und Modellen für den MXNet Skriptmodus mit SageMaker KI finden Sie unter [Verwenden MXNet mit dem SageMaker Python-SDK](https://sagemaker.readthedocs.io/en/stable/using_mxnet.html).
# Apache Spark mit Amazon SageMaker AI
Amazon SageMaker AI Spark ist eine Open-Source-Spark-Bibliothek, mit der Sie Spark-Pipelines für maschinelles Lernen (ML) mit SageMaker KI erstellen können. Dies vereinfacht die Integration von Spark-ML-Phasen in SageMaker KI-Phasen wie Modelltraining und Hosting. Informationen zu SageMaker AI Spark finden Sie im [SageMaker AI GitHub Spark-Repository](https://github.com/aws/sagemaker-spark). Die folgenden Themen enthalten Informationen zur Verwendung von Apache Spark mit SageMaker KI.
Die SageMaker AI Spark-Bibliothek ist in Python und Scala verfügbar. Sie können SageMaker AI Spark verwenden, um Modelle in SageMaker KI mithilfe von `org.apache.spark.sql.DataFrame` Datenrahmen in Ihren Spark-Clustern zu trainieren. Nach dem Modelltraining können Sie das Modell auch mithilfe von SageMaker KI-Hosting-Diensten hosten.
Die SageMaker AI Spark-Bibliothek bietet unter anderem die folgenden Klassen: `com.amazonaws.services.sagemaker.sparksdk`
+ `SageMakerEstimator` – Erweitert die `org.apache.spark.ml.Estimator` Schnittstelle. Sie können diesen Schätzer für das Modelltraining in SageMaker KI verwenden.
+ `KMeansSageMakerEstimator`, `PCASageMakerEstimator`, und `XGBoostSageMakerEstimator` – Erweitert die `SageMakerEstimator` Klasse.
+ `SageMakerModel` – Erweitert `org.apache.spark.ml.Model` Klasse. Sie können ihn verwenden, um Modelle `SageMakerModel` zu hosten und Rückschlüsse in SageMaker KI zu ziehen.
Sie können den Quellcode für die Bibliotheken Python Spark (PySpark) und Scala aus dem [SageMaker AI GitHub Spark-Repository](https://github.com/aws/sagemaker-spark) herunterladen.
Die Installation und Beispiele der SageMaker AI Spark-Bibliothek finden Sie unter [SageMaker Beispiele für AI Spark für Scala](apache-spark-example1.md) oder[Ressourcen für die Verwendung von SageMaker AI Spark for Python (PySpark) — Beispiele](apache-spark-additional-examples.md).
Wenn Sie Amazon EMR on AWS zur Verwaltung von Spark-Clustern verwenden, finden Sie weitere Informationen unter [Apache Spark](https://aws.amazon.com/emr/features/spark/). Weitere Informationen zur Verwendung von Amazon EMR in SageMaker KI finden Sie unter[Datenaufbereitung mit Amazon EMR](studio-notebooks-emr-cluster.md).
**Topics**
+ [Integrieren Sie Ihre Apache Spark-Anwendung mit KI SageMaker](#spark-sdk-common-process)
+ [SageMaker Beispiele für AI Spark für Scala](apache-spark-example1.md)
+ [Ressourcen für die Verwendung von SageMaker AI Spark for Python (PySpark) — Beispiele](apache-spark-additional-examples.md)
## Integrieren Sie Ihre Apache Spark-Anwendung mit KI SageMaker
Im Folgenden finden Sie eine allgemeine Zusammenfassung der Schritte zur Integration Ihrer Apache Spark-Anwendung mit SageMaker KI.
1. Setzen Sie die Datenvorverarbeitung mithilfe der Apache Spark-Bibliothek fort, mit der Sie vertraut sind. Ihr Datensatz bleibt ein `DataFrame` in Ihrem Spark-Cluster. Laden Sie Ihre Daten in eine`DataFrame`. Verarbeiten Sie sie so vor, dass Sie eine `features`-Spalte mit `org.apache.spark.ml.linalg.Vector` vom Typ `Doubles` und eine optionale `label`-Spalte mit Werten vom Typ `Double` erhalten.
1. Verwenden Sie den Schätzer in der SageMaker AI Spark-Bibliothek, um Ihr Modell zu trainieren. Wenn Sie beispielsweise den von SageMaker KI bereitgestellten K-Means-Algorithmus für das Modelltraining wählen, rufen Sie die `KMeansSageMakerEstimator.fit` Methode auf.
Geben Sie Ihren `DataFrame` als Eingabe an. Von der Schätzfunktion wird ein `SageMakerModel`-Objekt zurückgegeben.
**Anmerkung**
`SageMakerModel` ist eine Erweiterung von `org.apache.spark.ml.Model`.
Von der `fit`-Methode werden folgende Schritte ausgeführt:
1. Konvertiert die Eingabe `DataFrame` in das Protobuf-Format. Dazu werden die `label` Spalten `features` und aus der Eingabe ausgewählt. `DataFrame` Anschließend werden die Protobuf-Daten in einen Amazon-S3-Bucket hochgeladen. Das Protobuf-Format ist effizient für das Modelltraining in KI. SageMaker
1. Startet das Modelltraining in SageMaker KI durch Senden einer SageMaker [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTrainingJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTrainingJob.html)AI-Anfrage. Nach Abschluss des Modelltrainings speichert SageMaker KI die Modellartefakte in einem S3-Bucket.
SageMaker KI übernimmt die IAM-Rolle, die Sie für das Modelltraining angegeben haben, um Aufgaben in Ihrem Namen auszuführen. Beispielsweise wird die Rolle zum Lesen von Trainingsdaten aus einem S3-Bucket und zum Schreiben von Modellartefakten in einen Bucket verwendet.
1. Ein `SageMakerModel`-Objekt wird erstellt und zurückgegeben. Der Konstruktor führt die folgenden Aufgaben aus, die sich auf die Bereitstellung Ihres Modells in KI beziehen. SageMaker
1. Sendet eine [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)Anfrage an SageMaker AI.
1. Sendet eine [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)Anfrage an SageMaker KI.
1. Sendet eine [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)Anfrage an SageMaker KI, die dann die angegebenen Ressourcen startet und das Modell auf ihnen hostet.
1. Mit dem können Sie Rückschlüsse aus Ihrem in SageMaker KI gehosteten Modell ziehen. `SageMakerModel.transform`
Stellen Sie einen `DataFrame` mit Merkmalen als Eingabe bereit. Die `transform`-Methode transformiert dies in einen `DataFrame`, der Inferenzen enthält. Intern sendet die `transform` Methode eine Anfrage an die [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html) SageMaker API, um Rückschlüsse zu erhalten. Die `transform`-Methode hängt die Inferenzen an den Eingabe-`DataFrame` an.
# SageMaker Beispiele für AI Spark für Scala
Amazon SageMaker AI bietet eine Apache Spark-Bibliothek ([SageMaker AI Spark](https://github.com/aws/sagemaker-spark/tree/master/sagemaker-spark-sdk)), mit der Sie Ihre Apache Spark-Anwendungen mit SageMaker KI integrieren können. Dieses Thema enthält Beispiele, die Ihnen den Einstieg in SageMaker AI Spark mit Scala erleichtern sollen. Informationen zur SageMaker AI Apache Spark-Bibliothek finden Sie unter[Apache Spark mit Amazon SageMaker AI](apache-spark.md).
**Laden Sie Spark für Scala herunter**
Sie können den Quellcode und die Beispiele für die Bibliotheken Python Spark (PySpark) und Scala aus dem [SageMaker AI GitHub Spark-Repository](https://github.com/aws/sagemaker-spark) herunterladen.
Eine ausführliche Anleitung zur Installation der SageMaker AI Spark-Bibliothek finden Sie unter [SageMaker AI Spark](https://github.com/aws/sagemaker-spark/tree/master/sagemaker-spark-sdk).
SageMaker Das AI Spark SDK für Scala ist im zentralen Maven-Repository verfügbar. Fügen Sie die Spark-Bibliothek zum Projekt hinzu, indem Sie die Datei `pom.xml` um folgende Abhängigkeit ergänzen:
+ Wenn Ihr Projekt mit Maven-erstellt wurde, fügen Sie Folgendes zu Ihrer pom.xml -Datei hinzu:
```
com.amazonaws
sagemaker-spark_2.11
spark_2.2.0-1.0
```
+ Wenn Ihr Projekt von Spark 2.1 abhängt, fügen Sie Ihrer Datei pom.xml Folgendes hinzu:
```
com.amazonaws
sagemaker-spark_2.11
spark_2.1.1-1.0
```
**Beispiel für Spark für Scala**
Dieser Abschnitt enthält Beispielcode, der die von AI bereitgestellte Apache Spark-Scala-Bibliothek verwendet, um ein Modell in SageMaker SageMaker KI mithilfe von `DataFrame` s in Ihrem Spark-Cluster zu trainieren. Darauf folgen Beispiele zur Vorgehensweise [Verwenden Sie benutzerdefinierte Algorithmen für Modelltraining und Hosting auf Amazon SageMaker AI mit Apache Spark](apache-spark-example1-cust-algo.md) und[Verwenden Sie die SageMakerEstimator in einer Spark-Pipeline](apache-spark-example1-extend-pipeline.md).
Das folgende Beispiel hostet die resultierenden Modellartefakte mithilfe von SageMaker KI-Hosting-Diensten. Weitere Informationen zu diesem Beispiel finden Sie unter [Erste Schritte: K-Means-Clustering auf SageMaker KI mit SageMaker AI Spark SDK](https://github.com/aws/sagemaker-spark?tab=readme-ov-file#getting-started-k-means-clustering-on-sagemaker-with-sagemaker-spark-sdk). In diesem Beispiel wird insbesondere Folgendes ausgeführt:
+ Verwenden von `KMeansSageMakerEstimator` zum Training eines Modells für Daten
Da das Beispiel den von SageMaker KI bereitgestellten K-Means-Algorithmus verwendet, um ein Modell zu trainieren, verwenden Sie den. `KMeansSageMakerEstimator` Das Modell wird anhand von Bildern mit handschriftlichen einstelligen Zahlen (aus dem MNIST-Datensatz) trainiert. Sie stellen die Bilder als Eingabe-`DataFrame` bereit. Der Einfachheit halber stellt SageMaker AI diesen Datensatz in einem Amazon S3 S3-Bucket bereit.
Als Antwort wird von der Schätzfunktion ein `SageMakerModel`-Objekt zurückgegeben.
+ Abrufen von Inferenzen mithilfe des trainierten `SageMakerModel`-Objekts
Um Rückschlüsse aus einem in SageMaker KI gehosteten Modell zu ziehen, rufen Sie die `SageMakerModel.transform` Methode auf. Sie übergeben einen `DataFrame` als Eingabe. Von der Methode wird der `DataFrame` in einen anderen `DataFrame` transformiert, der die vom Modell abgerufenen Inferenzen enthält.
Für ein vorhandenes Eingabebild mit einer handschriftlichen einstelligen Zahl identifiziert die Inferenz den Cluster, dem das Bild angehört. Weitere Informationen finden Sie unter [k-Means-Algorithmus](k-means.md).
```
import org.apache.spark.sql.SparkSession
import com.amazonaws.services.sagemaker.sparksdk.IAMRole
import com.amazonaws.services.sagemaker.sparksdk.algorithms
import com.amazonaws.services.sagemaker.sparksdk.algorithms.KMeansSageMakerEstimator
val spark = SparkSession.builder.getOrCreate
// load mnist data as a dataframe from libsvm
val region = "us-east-1"
val trainingData = spark.read.format("libsvm")
.option("numFeatures", "784")
.load(s"s3://sagemaker-sample-data-$region/spark/mnist/train/")
val testData = spark.read.format("libsvm")
.option("numFeatures", "784")
.load(s"s3://sagemaker-sample-data-$region/spark/mnist/test/")
val roleArn = "arn:aws:iam::account-id:role/rolename"
val estimator = new KMeansSageMakerEstimator(
sagemakerRole = IAMRole(roleArn),
trainingInstanceType = "ml.p2.xlarge",
trainingInstanceCount = 1,
endpointInstanceType = "ml.c4.xlarge",
endpointInitialInstanceCount = 1)
.setK(10).setFeatureDim(784)
// train
val model = estimator.fit(trainingData)
val transformedData = model.transform(testData)
transformedData.show
```
Das Codebeispiel führt die folgenden Aufgaben durch:
+ Lädt den MNIST-Datensatz aus einem von SageMaker AI (`awsai-sparksdk-dataset`) bereitgestellten S3-Bucket in einen Spark `DataFrame` (`mnistTrainingDataFrame`):
```
// Get a Spark session.
val spark = SparkSession.builder.getOrCreate
// load mnist data as a dataframe from libsvm
val region = "us-east-1"
val trainingData = spark.read.format("libsvm")
.option("numFeatures", "784")
.load(s"s3://sagemaker-sample-data-$region/spark/mnist/train/")
val testData = spark.read.format("libsvm")
.option("numFeatures", "784")
.load(s"s3://sagemaker-sample-data-$region/spark/mnist/test/")
val roleArn = "arn:aws:iam::account-id:role/rolename"
trainingData.show()
```
Die `show`-Methode zeigt die ersten 20 Zeilen im Datenframe an:
```
+-----+--------------------+
|label| features|
+-----+--------------------+
| 5.0|(784,[152,153,154...|
| 0.0|(784,[127,128,129...|
| 4.0|(784,[160,161,162...|
| 1.0|(784,[158,159,160...|
| 9.0|(784,[208,209,210...|
| 2.0|(784,[155,156,157...|
| 1.0|(784,[124,125,126...|
| 3.0|(784,[151,152,153...|
| 1.0|(784,[152,153,154...|
| 4.0|(784,[134,135,161...|
| 3.0|(784,[123,124,125...|
| 5.0|(784,[216,217,218...|
| 3.0|(784,[143,144,145...|
| 6.0|(784,[72,73,74,99...|
| 1.0|(784,[151,152,153...|
| 7.0|(784,[211,212,213...|
| 2.0|(784,[151,152,153...|
| 8.0|(784,[159,160,161...|
| 6.0|(784,[100,101,102...|
| 9.0|(784,[209,210,211...|
+-----+--------------------+
only showing top 20 rows
```
Für jede Zeile gilt Folgendes:
+ Die `label`-Spalte identifiziert die Bildbezeichnung. Wenn beispielsweise das Bild mit der handschriftlichen Nummer die Ziffer 5 ist, lautet auch der Bezeichnungswert 5.
+ Die `features`-Spalte speichert einen Vektor (`org.apache.spark.ml.linalg.Vector`) des `Double`-Typs. Das sind die 784 Merkmale der handschriftlichen Zahl. (Jede handschriftliche Zahl ist ein Bild aus 28 x 28 Pixeln, was 784 Merkmale ergibt.)
+ Erstellt einen SageMaker AI-Schätzer () `KMeansSageMakerEstimator`
Die `fit` Methode dieses Schätzers verwendet den von SageMaker KI bereitgestellten K-Means-Algorithmus, um Modelle mithilfe einer Eingabe zu trainieren. `DataFrame` Als Antwort wird ein `SageMakerModel`-Objekt zurückgegeben, mit dem Sie Inferenzen abrufen können.
**Anmerkung**
Das `KMeansSageMakerEstimator` erweitert die SageMaker KI`SageMakerEstimator`, was den Apache Spark erweitert. `Estimator`
```
val estimator = new KMeansSageMakerEstimator(
sagemakerRole = IAMRole(roleArn),
trainingInstanceType = "ml.p2.xlarge",
trainingInstanceCount = 1,
endpointInstanceType = "ml.c4.xlarge",
endpointInitialInstanceCount = 1)
.setK(10).setFeatureDim(784)
```
Die Konstruktorparameter stellen Informationen bereit, die für das Training eines Modells und dessen Implementierung auf SageMaker KI verwendet werden:
+ `trainingInstanceType` und `trainingInstanceCount` – Geben den Typ und die Anzahl der für die Modelltraining zu verwendenden ML-Compute-Instances an.
+ `endpointInstanceType`— Identifiziert den ML-Compute-Instanztyp, der beim Hosten des Modells in SageMaker KI verwendet werden soll. Standardmäßig wird von einer ML-Compute-Instance ausgegangen.
+ `endpointInitialInstanceCount`— Identifiziert die Anzahl der ML-Compute-Instanzen, die ursprünglich den Endpunkt unterstützen, auf dem das Modell in SageMaker KI gehostet wird.
+ `sagemakerRole`— SageMaker KI übernimmt diese IAM-Rolle, um Aufgaben in Ihrem Namen auszuführen. Beispielsweise werden damit zum Zwecke der Modelltraining Daten aus S3 gelesen und das Trainingsergebnisse (Modellartefakte) in S3 geschrieben.
**Anmerkung**
In diesem Beispiel wird implizit ein SageMaker KI-Client erstellt. Zum Erstellen dieses Clients müssen Sie Ihre Anmeldeinformationen angeben. Die API verwendet diese Anmeldeinformationen, um Anfragen an KI zu authentifizieren. SageMaker Beispielsweise verwendet sie die Anmeldeinformationen zur Authentifizierung von Anfragen zur Erstellung eines Trainingsjobs und API-Aufrufe für die Bereitstellung des Modells mithilfe von SageMaker KI-Hosting-Diensten.
+ Nachdem das `KMeansSageMakerEstimator`-Objekt erstellt wurde, legen Sie die folgenden Parameter an, die in der Modelltraining verwendet werden:
+ Die Anzahl der Cluster, die der k-means-Algorithmus während der Modelltraining erstellen soll. Geben Sie zehn Cluster an, einen für jede Ziffer von null bis neun.
+ Gibt an, dass jedes Eingabebild 784 Merkmale hat (jede handschriftliche Zahl ist ein Bild aus 28 x 28 Pixeln, was 784 Funktionen ergibt).
+ Aufrufen der `fit`-Methode der Schätzfunktion
```
// train
val model = estimator.fit(trainingData)
```
Sie übergeben den Eingabe-`DataFrame` als Parameter. Das Modell übernimmt die gesamte Arbeit, das Modell zu trainieren und es für SageMaker KI bereitzustellen. Weitere Informationen finden Sie unter [Integrieren Sie Ihre Apache Spark-Anwendung mit KI SageMaker](apache-spark.md#spark-sdk-common-process). Als Antwort erhalten Sie ein `SageMakerModel` Objekt, mit dem Sie Rückschlüsse auf Ihr in SageMaker KI implementiertes Modell ziehen können.
Sie stellen nur den als Eingabe spezifizierten `DataFrame` bereit. Der Registry-Pfad zum k-means-Algorithmus, der für die Modelltraining verwendet wird, muss nicht angegeben werden, da `KMeansSageMakerEstimator` ihn kennt.
+ Ruft die `SageMakerModel.transform` Methode auf, um Rückschlüsse aus dem in SageMaker KI bereitgestellten Modell zu ziehen.
Die `transform`-Methode erhält einen `DataFrame`, transformiert diesen und gibt einen anderen `DataFrame` zurück, der die vom Modell abgerufenen Inferenzen enthält.
```
val transformedData = model.transform(testData)
transformedData.show
```
Der Einfachheit halber wird derselbe `DataFrame` als Eingabe für die `transform`-Methode verwendet, der bereits für die Modelltraining in diesem Beispiel herangezogen wurde. Von der `transform`-Methode werden folgende Schritte ausgeführt:
+ Serialisiert die `features` Spalte in der Eingabe `DataFrame` an protobuf und sendet sie zur Inferenz an den SageMaker KI-Endpunkt.
+ Die "protobuf"-Antwort wird in die beiden zusätzlichen Spalten (`distance_to_cluster` und `closest_cluster`) im transformierten `DataFrame` deserialisiert.
Die `show`-Methode ruft Inferenzen für die ersten 20 Zeilen im Eingabe-`DataFrame` ab:
```
+-----+--------------------+-------------------+---------------+
|label| features|distance_to_cluster|closest_cluster|
+-----+--------------------+-------------------+---------------+
| 5.0|(784,[152,153,154...| 1767.897705078125| 4.0|
| 0.0|(784,[127,128,129...| 1392.157470703125| 5.0|
| 4.0|(784,[160,161,162...| 1671.5711669921875| 9.0|
| 1.0|(784,[158,159,160...| 1182.6082763671875| 6.0|
| 9.0|(784,[208,209,210...| 1390.4002685546875| 0.0|
| 2.0|(784,[155,156,157...| 1713.988037109375| 1.0|
| 1.0|(784,[124,125,126...| 1246.3016357421875| 2.0|
| 3.0|(784,[151,152,153...| 1753.229248046875| 4.0|
| 1.0|(784,[152,153,154...| 978.8394165039062| 2.0|
| 4.0|(784,[134,135,161...| 1623.176513671875| 3.0|
| 3.0|(784,[123,124,125...| 1533.863525390625| 4.0|
| 5.0|(784,[216,217,218...| 1469.357177734375| 6.0|
| 3.0|(784,[143,144,145...| 1736.765869140625| 4.0|
| 6.0|(784,[72,73,74,99...| 1473.69384765625| 8.0|
| 1.0|(784,[151,152,153...| 944.88720703125| 2.0|
| 7.0|(784,[211,212,213...| 1285.9071044921875| 3.0|
| 2.0|(784,[151,152,153...| 1635.0125732421875| 1.0|
| 8.0|(784,[159,160,161...| 1436.3162841796875| 6.0|
| 6.0|(784,[100,101,102...| 1499.7366943359375| 7.0|
| 9.0|(784,[209,210,211...| 1364.6319580078125| 6.0|
+-----+--------------------+-------------------+---------------+
```
Sie können die Daten folgendermaßen interpretieren:
+ Eine handschriftliche Zahl mit `label`5 gehört zu Cluster 4 (`closest_cluster`).
+ Eine handschriftliche Zahl mit `label`0 gehört zu Cluster 5.
+ Eine handschriftliche Zahl mit `label`4 gehört zu Cluster 9.
+ Eine handschriftliche Zahl mit `label`1 gehört zu Cluster 6.
**Topics**
+ [Verwenden Sie benutzerdefinierte Algorithmen für Modelltraining und Hosting auf Amazon SageMaker AI mit Apache Spark](apache-spark-example1-cust-algo.md)
+ [Verwenden Sie die SageMakerEstimator in einer Spark-Pipeline](apache-spark-example1-extend-pipeline.md)
# Verwenden Sie benutzerdefinierte Algorithmen für Modelltraining und Hosting auf Amazon SageMaker AI mit Apache Spark
In verwenden Sie den[SageMaker Beispiele für AI Spark für Scala](apache-spark-example1.md), `kMeansSageMakerEstimator` weil das Beispiel den von Amazon SageMaker AI bereitgestellten K-Means-Algorithmus für das Modelltraining verwendet. Stattdessen können Sie einen eigenen benutzerdefinierten Algorithmus zur Modelltraining einsetzen. Unter der Voraussetzung, dass Sie bereits ein Docker-Image erstellt haben, können Sie eine eigene `SageMakerEstimator` generieren und den Amazon-Elastic-Container-Registry-Pfad für das benutzerdefinierte Image angeben.
Im folgenden Beispiel wird gezeigt, wie ein `KMeansSageMakerEstimator`-Objekt aus `SageMakerEstimator` erstellt wird. Geben Sie in der neuen Schätzfunktion explizit den Docker-Registry-Pfad zu den Trainings- und Inferenzcode-Images an.
```
import com.amazonaws.services.sagemaker.sparksdk.IAMRole
import com.amazonaws.services.sagemaker.sparksdk.SageMakerEstimator
import com.amazonaws.services.sagemaker.sparksdk.transformation.serializers.ProtobufRequestRowSerializer
import com.amazonaws.services.sagemaker.sparksdk.transformation.deserializers.KMeansProtobufResponseRowDeserializer
val estimator = new SageMakerEstimator(
trainingImage =
"811284229777.dkr.ecr.us-east-1.amazonaws.com/kmeans:1",
modelImage =
"811284229777.dkr.ecr.us-east-1.amazonaws.com/kmeans:1",
requestRowSerializer = new ProtobufRequestRowSerializer(),
responseRowDeserializer = new KMeansProtobufResponseRowDeserializer(),
hyperParameters = Map("k" -> "10", "feature_dim" -> "784"),
sagemakerRole = IAMRole(roleArn),
trainingInstanceType = "ml.p2.xlarge",
trainingInstanceCount = 1,
endpointInstanceType = "ml.c4.xlarge",
endpointInitialInstanceCount = 1,
trainingSparkDataFormat = "sagemaker")
```
Im Code sind folgende Parameter in den `SageMakerEstimator`-Konstruktor eingebunden:
+ `trainingImage` – Gibt den Docker-Registry-Pfad zum Trainings-Image mit Ihrem benutzerdefinierten Code an.
+ `modelImage` – Gibt den Docker-Registry-Pfad zum Image mit dem Inferenzcode an.
+ `requestRowSerializer` –Implementiert `com.amazonaws.services.sagemaker.sparksdk.transformation.RequestRowSerializer`.
Dieser Parameter serialisiert Zeilen in der Eingabe, um sie `DataFrame` zur Inferenz an das in SageMaker AI gehostete Modell zu senden.
+ `responseRowDeserializer` – Implementiert.
`com.amazonaws.services.sagemaker.sparksdk.transformation.ResponseRowDeserializer`.
Dieser Parameter deserialisiert Antworten aus dem in AI gehosteten Modell zurück in SageMaker ein. `DataFrame`
+ `trainingSparkDataFormat` – Gibt das von Spark verwendete Datenformat beim Upload der Trainingsdaten von einem `DataFrame` nach S3 an. Beispielsweise `"sagemaker"` für das protobuf-Format, `"csv"` für durch Komma getrennte Werte und `"libsvm"` für das LibSVM-Format.
Sie können Ihren eigenen `RequestRowSerializer` und `ResponseRowDeserializer` implementieren, um Zeilen aus einem Datenformat, das vom Inferenzcode unterstützt wird (z. B. LibSVM oder CSV), zu serialisieren und zu deserialisieren.
# Verwenden Sie die SageMakerEstimator in einer Spark-Pipeline
Sie können `org.apache.spark.ml.Estimator`-Schätzfunktionen und `org.apache.spark.ml.Model`-Modelle sowie `SageMakerEstimator`-Schätzfunktionen und `SageMakerModel`-Modelle in `org.apache.spark.ml.Pipeline`-Pipelines verwenden, wie in folgendem Beispiel dargestellt:
```
import org.apache.spark.ml.Pipeline
import org.apache.spark.ml.feature.PCA
import org.apache.spark.sql.SparkSession
import com.amazonaws.services.sagemaker.sparksdk.IAMRole
import com.amazonaws.services.sagemaker.sparksdk.algorithms
import com.amazonaws.services.sagemaker.sparksdk.algorithms.KMeansSageMakerEstimator
val spark = SparkSession.builder.getOrCreate
// load mnist data as a dataframe from libsvm
val region = "us-east-1"
val trainingData = spark.read.format("libsvm")
.option("numFeatures", "784")
.load(s"s3://sagemaker-sample-data-$region/spark/mnist/train/")
val testData = spark.read.format("libsvm")
.option("numFeatures", "784")
.load(s"s3://sagemaker-sample-data-$region/spark/mnist/test/")
// substitute your SageMaker IAM role here
val roleArn = "arn:aws:iam::account-id:role/rolename"
val pcaEstimator = new PCA()
.setInputCol("features")
.setOutputCol("projectedFeatures")
.setK(50)
val kMeansSageMakerEstimator = new KMeansSageMakerEstimator(
sagemakerRole = IAMRole(integTestingRole),
requestRowSerializer =
new ProtobufRequestRowSerializer(featuresColumnName = "projectedFeatures"),
trainingSparkDataFormatOptions = Map("featuresColumnName" -> "projectedFeatures"),
trainingInstanceType = "ml.p2.xlarge",
trainingInstanceCount = 1,
endpointInstanceType = "ml.c4.xlarge",
endpointInitialInstanceCount = 1)
.setK(10).setFeatureDim(50)
val pipeline = new Pipeline().setStages(Array(pcaEstimator, kMeansSageMakerEstimator))
// train
val pipelineModel = pipeline.fit(trainingData)
val transformedData = pipelineModel.transform(testData)
transformedData.show()
```
Der Parameter `trainingSparkDataFormatOptions` konfiguriert Spark, damit die "protobuf"-Spalte "projectedFeatures" für die Modelltraining serialisiert wird. Zusätzlich wird die "label"-Spalte standardmäßig von Spark in "protobuf" serialisiert.
Da Inferenzen mithilfe der "projectedFeatures"-Spalte erstellt werden sollen, wird der Spaltenname an `ProtobufRequestRowSerializer` übergeben.
Das folgende Beispiel zeigt einen transformierten `DataFrame`:
```
+-----+--------------------+--------------------+-------------------+---------------+
|label| features| projectedFeatures|distance_to_cluster|closest_cluster|
+-----+--------------------+--------------------+-------------------+---------------+
| 5.0|(784,[152,153,154...|[880.731433034386...| 1500.470703125| 0.0|
| 0.0|(784,[127,128,129...|[1768.51722024166...| 1142.18359375| 4.0|
| 4.0|(784,[160,161,162...|[704.949236329314...| 1386.246826171875| 9.0|
| 1.0|(784,[158,159,160...|[-42.328192193771...| 1277.0736083984375| 5.0|
| 9.0|(784,[208,209,210...|[374.043902028333...| 1211.00927734375| 3.0|
| 2.0|(784,[155,156,157...|[941.267714528850...| 1496.157958984375| 8.0|
| 1.0|(784,[124,125,126...|[30.2848596410594...| 1327.6766357421875| 5.0|
| 3.0|(784,[151,152,153...|[1270.14374062052...| 1570.7674560546875| 0.0|
| 1.0|(784,[152,153,154...|[-112.10792566485...| 1037.568359375| 5.0|
| 4.0|(784,[134,135,161...|[452.068280676606...| 1165.1236572265625| 3.0|
| 3.0|(784,[123,124,125...|[610.596447285397...| 1325.953369140625| 7.0|
| 5.0|(784,[216,217,218...|[142.959601818422...| 1353.4930419921875| 5.0|
| 3.0|(784,[143,144,145...|[1036.71862533658...| 1460.4315185546875| 7.0|
| 6.0|(784,[72,73,74,99...|[996.740157435754...| 1159.8631591796875| 2.0|
| 1.0|(784,[151,152,153...|[-107.26076167417...| 960.963623046875| 5.0|
| 7.0|(784,[211,212,213...|[619.771820430940...| 1245.13623046875| 6.0|
| 2.0|(784,[151,152,153...|[850.152101817161...| 1304.437744140625| 8.0|
| 8.0|(784,[159,160,161...|[370.041887230547...| 1192.4781494140625| 0.0|
| 6.0|(784,[100,101,102...|[546.674328209335...| 1277.0908203125| 2.0|
| 9.0|(784,[209,210,211...|[-29.259112927426...| 1245.8182373046875| 6.0|
+-----+--------------------+--------------------+-------------------+---------------+
```
# Ressourcen für die Verwendung von SageMaker AI Spark for Python (PySpark) — Beispiele
Amazon SageMaker AI bietet eine Apache Spark-Python-Bibliothek ([SageMaker KI PySpark](https://github.com/aws/sagemaker-spark/tree/master/sagemaker-pyspark-sdk)), mit der Sie Ihre Apache Spark-Anwendungen mit SageMaker KI integrieren können. Dieses Thema enthält Beispiele, die Ihnen den Einstieg erleichtern sollen PySpark. Informationen zur SageMaker AI Apache Spark-Bibliothek finden Sie unter[Apache Spark mit Amazon SageMaker AI](apache-spark.md).
**Download PySpark**
Sie können den Quellcode für die Bibliotheken Python Spark (PySpark) und Scala aus dem [SageMaker AI GitHub Spark-Repository](https://github.com/aws/sagemaker-spark) herunterladen.
Anweisungen zur Installation der SageMaker AI Spark-Bibliothek finden Sie unter den folgenden Optionen oder unter [SageMaker AI PySpark](https://github.com/aws/sagemaker-spark/tree/master/sagemaker-pyspark-sdk).
+ Installieren Sie mithilfe von pip:
```
pip install sagemaker_pyspark
```
+ Installieren Sie von der Quelle aus:
```
git clone git@github.com:aws/sagemaker-spark.git
cd sagemaker-pyspark-sdk
python setup.py install
```
+ In einer Notebook-Instance erstellen Sie ein neues Notebook, das entweder den Kernel `Sparkmagic (PySpark)` oder `Sparkmagic (PySpark3)` verwendet, und stellen Sie eine Verbindung mit einem Remote-Amazon-EMR-Cluster her.
**Anmerkung**
Das Amazon-EMR-Cluster muss mit einer IAM-Rolle konfiguriert sein, der die `AmazonSageMakerFullAccess`-Richtlinie angefügt ist. Weitere Informationen zum Konfigurieren von Rollen für ein EMR-Cluster finden Sie unter [Konfigurieren von IAM-Rollen für EMR-Berechtigungen für AWS Services](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-roles.html) im *Amazon EMR Management Guide*.
**PySpark Beispiele**
Beispiele zur Verwendung von SageMaker KI PySpark finden Sie unter:
+ [Verwenden von Amazon SageMaker AI mit Apache Spark](https://sagemaker-examples.readthedocs.io/en/latest/sagemaker-spark/index.html) in Read the Docs.
+ [SageMaker AI GitHub Spark-Repository](https://github.com/aws/sagemaker-spark).
# Ressourcen für die Verwendung von Chainer mit Amazon AI SageMaker
Sie können SageMaker KI verwenden, um ein Modell mithilfe von benutzerdefiniertem Chainer-Code zu trainieren und bereitzustellen. Die SageMaker AI Python SDK Chainer Estimators and Models und der SageMaker AI-Open-Source-Chainer-Container erleichtern das Schreiben eines Chainer-Skripts und dessen Ausführung in KI. SageMaker Der folgende Abschnitt enthält Referenzmaterial, anhand dessen Sie lernen können, wie Sie Chainer mit KI verwenden können. SageMaker
## Was möchten Sie tun?
Ich möchte ein benutzerdefiniertes Chainer-Modell in SageMaker KI trainieren.
Ein Beispiel für ein Jupyter-Notizbuch finden Sie in den [Chainer-Beispielnotizbüchern](https://github.com/awslabs/amazon-sagemaker-examples/tree/master/sagemaker-python-sdk/mxnet_mnist) im Amazon SageMaker AI Examples Repository. GitHub
Die Dokumentation finden Sie unter [Train a Model with Chainer](https://sagemaker.readthedocs.io/en/stable/using_chainer.html#train-a-model-with-chainer).
Ich habe ein Chainer-Modell, das ich in SageMaker KI trainiert habe, und ich möchte es auf einem gehosteten Endpunkt bereitstellen.
Weitere Informationen finden Sie unter [Bereitstellen von Chainer-Modellen.](https://sagemaker.readthedocs.io/en/stable/using_chainer.html#deploy-chainer-models)
Ich habe ein Chainer-Modell, das ich außerhalb von SageMaker KI trainiert habe, und ich möchte es auf einem SageMaker KI-Endpunkt einsetzen
Weitere Informationen finden Sie unter [Bereitstellen von Endpunkten aus Modelldaten](https://sagemaker.readthedocs.io/en/stable/using_chainer.html#deploy-endpoints-from-model-data).
Ich möchte die API-Dokumentation für [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable) Chainer-Klassen sehen.
Weitere Informationen finden Sie unter [Speicherklassen](https://sagemaker.readthedocs.io/en/stable/sagemaker.chainer.html).
Ich möchte Informationen über SageMaker AI Chainer-Container finden.
Weitere Informationen finden Sie im [SageMaker AI Chainer GitHub Container-Repository](https://github.com/aws/sagemaker-chainer-container).
Informationen zu unterstützten Chainer-Versionen und allgemeine Informationen zum Schreiben von Chainer-Trainingsskripten und zur Verwendung von Chainer-Schätzern und -Modellen mit SageMaker KI finden Sie unter [Chainer mit dem Python-SDK verwenden](https://sagemaker.readthedocs.io/en/stable/using_chainer.html). SageMaker
# Ressourcen für die Verwendung von Hugging Face mit Amazon AI SageMaker
Mit Amazon SageMaker AI können Kunden mithilfe von Hugging Face Face-Modellen für Natural Language Processing (NLP) auf KI trainieren, feinabstimmen und Inferenzen ausführen. SageMaker Sie können Hugging Face sowohl für Trainings als auch für Inferenzen verwenden. Der folgende Abschnitt enthält Informationen zu Hugging Face-Modellen und enthält Referenzmaterial, anhand dessen Sie lernen können, wie Sie Hugging Face mit KI verwenden können. SageMaker
Diese Funktionalität ist durch die Entwicklung von Hugging Face [AWS Deep Learning Containers](https://docs.aws.amazon.com/deep-learning-containers/latest/devguide/what-is-dlc.html) verfügbar. Zu diesen Containern gehören Hugging Face Transformers, Tokenizers und die Datensatz-Bibliothek, mit der Sie diese Ressourcen für Ihre Trainings- und Inferenzaufgaben verwenden können. Eine Liste der verfügbaren Deep Learning Containers-Images finden Sie unter [Verfügbare Deep Learning Containers Images](https://github.com/aws/deep-learning-containers/blob/master/available_images.md). Diese Deep Learning Containers Container-Images werden verwaltet und regelmäßig mit Sicherheitspatches aktualisiert.
Informationen zur Verwendung der Hugging Face Deep Learning Containers mit dem SageMaker Python-SDK für Schulungen finden Sie im [Hugging](https://sagemaker.readthedocs.io/en/stable/frameworks/huggingface/index.html) Face AI Estimator. SageMaker Mit dem Hugging Face Estimator können Sie die Hugging Face Face-Modelle wie jeden anderen AI Estimator verwenden. SageMaker Die Verwendung des SageMaker Python-SDK ist jedoch optional. Sie können Ihre Verwendung der Hugging Face Deep Learning Containers auch mit dem und orchestrieren. AWS CLI AWS SDK für Python (Boto3)
Weitere Informationen zu Hugging Face und den darin verfügbaren Modellen finden Sie in der [Hugging Face Dokumentation](https://huggingface.co/).
## Training
Für die Durchführung von Trainings verwenden Sie eines der Tausenden von Modellen, die in Hugging Face verfügbar sind, und sie mit zusätzlichen Trainings an Ihren spezifischen Anwendungsfall anpassen. Mit SageMaker KI können Sie Standardschulungen verwenden oder die Vorteile von [SageMaker AI Distributed Data und Model](https://docs.aws.amazon.com/sagemaker/latest/dg/distributed-training.html) Parallel Training nutzen.
Wie bei anderen SageMaker Trainingsjobs, die benutzerdefinierten Code verwenden, können Sie Ihre eigenen Metriken erfassen, indem Sie eine Metrikdefinition an das SageMaker Python-SDK übergeben. Ein Beispiel finden Sie unter [Definieren von Trainingsmetriken (SageMaker Python SDK)](https://docs.aws.amazon.com/sagemaker/latest/dg/training-metrics.html#define-train-metrics-sdk). Sie können mit der [TrainingJobAnalytics](https://sagemaker.readthedocs.io/en/stable/api/training/analytics.html#sagemaker.analytics.TrainingJobAnalytics)Methode [CloudWatch](https://docs.aws.amazon.com/sagemaker/latest/dg/monitoring-cloudwatch.html)und als Pandas `DataFrame` auf die erfassten Metriken zugreifen. Nachdem Ihr Modell trainiert und optimiert wurde, können Sie es wie jedes andere Modell verwenden, um Inferenzaufträge auszuführen.
### So trainieren Sie mit der Hugging-Face-Schätzfunktion
Sie können den Hugging Face Estimator für Trainingsjobs mithilfe des SageMaker AI Python SDK implementieren. Das SageMaker Python SDK ist eine Open-Source-Bibliothek zum Trainieren und Bereitstellen von Modellen für maschinelles Lernen auf SageMaker KI. Weitere Informationen zum Hugging Face Estimator finden Sie in der [SageMaker AI Python](https://sagemaker.readthedocs.io/en/stable/frameworks/huggingface/index.html) SDK-Dokumentation.
Mit dem SageMaker Python-SDK können Sie Trainingsjobs mit dem Hugging Face Estimator in den folgenden Umgebungen ausführen:
+ [Amazon SageMaker Studio Classic](https://docs.aws.amazon.com/sagemaker/latest/dg/studio.html): Studio Classic ist die erste vollständig integrierte Entwicklungsumgebung (IDE) für maschinelles Lernen (ML). Studio Classic bietet eine einzige, webbasierte visuelle Oberfläche, über die Sie alle ML-Entwicklungsschritte ausführen können, die für folgende Zwecke erforderlich sind:
+ vorbereiten
+ Build
+ trainiere und stimme
+ Modelle bereitstellen und verwalten
Informationen zur Verwendung von Jupyter Notebooks in Studio Classic finden Sie unter [Verwenden Sie Amazon SageMaker Studio Classic-Notizbücher](notebooks.md).
+ [SageMakerNotebook-Instances](https://docs.aws.amazon.com/sagemaker/latest/dg/nbi.html): Eine SageMaker Amazon-Notebook-Instance ist eine Recheninstanz für maschinelles Lernen (ML), auf der die Jupyter Notebook App ausgeführt wird. Mit dieser App können Sie Jupyter Notebooks in Ihrer Notebook-Instance ausführen, um:
+ Daten vorzubereiten und zu verarbeiten
+ Code zu schreiben, um Modelle zu trainieren
+ Modelle für KI-Hosting bereitstellen SageMaker
+ testen oder validieren Sie Ihre Modelle ohne SageMaker Studio-Funktionen wie Debugger, Model Monitoring und eine webbasierte IDE
+ Lokal: Wenn Sie über Konnektivität verfügen AWS und über entsprechende SageMaker KI-Berechtigungen verfügen, können Sie das SageMaker Python-SDK lokal verwenden. Bei lokaler Nutzung können Sie Fernschulungs- und Inferenzjobs für Hugging Face in SageMaker AI auf starten. AWS Dies funktioniert auf Ihrem lokalen Computer sowie auf anderen AWS Diensten mit einem verbundenen SageMaker Python-SDK und entsprechenden Berechtigungen.
## Inferenz
Als Inferenz können Sie Ihr trainiertes Hugging Face Face-Modell oder eines der vortrainierten Hugging Face Face-Modelle verwenden, um einen Inferenzjob mit KI bereitzustellen. SageMaker Bei dieser Zusammenarbeit benötigen Sie nur eine Codezeile, um sowohl Ihre trainierten Modelle als auch Ihre vortrainierten Modelle mit KI bereitzustellen. SageMaker Sie können auch Inferenzaufträge ausführen, ohne benutzerdefinierten Inferenzcode schreiben zu müssen. Mit benutzerdefiniertem Inferenzcode können Sie die Inferenzlogik anpassen, indem Sie Ihr eigenes Python-Skript bereitstellen.
### So stellen Sie einen Inferenzauftrag mit den Hugging Face Deep Learning Containers bereit
Sie haben zwei Möglichkeiten, Inferenzen mit SageMaker KI auszuführen. Sie können die Inferenz mit einem Modell ausführen, das Sie trainiert haben, oder ein vortrainiertes Hugging Face Face-Modell einsetzen.
+ **Führen Sie die Inferenz mit Ihrem trainierten Modell aus**: Sie haben zwei Möglichkeiten, die Inferenz mit Ihrem eigenen trainierten Modell auszuführen:
+ Führen Sie Inferenzen mit einem Modell durch, das Sie mit einem vorhandenen Hugging Face-Modell mit den SageMaker AI Hugging Face Deep Learning Containers trainiert haben.
+ Bringen Sie Ihr eigenes vorhandenes Hugging Face Face-Modell mit und setzen Sie es mithilfe von SageMaker KI ein.
Wenn Sie Inferenz mit einem Modell ausführen, das Sie mit dem SageMaker AI Hugging Face Estimator trainiert haben, können Sie das Modell sofort nach Abschluss des Trainings einsetzen. Sie können das trainierte Modell auch in einen Amazon-S3-Bucket hochladen und es bei der späteren Ausführung von Inference aufnehmen.
Wenn Sie Ihr eigenes vorhandenes Hugging-Face-Modell mitbringen, müssen Sie das trainierte Modell in einen Amazon-S3-Bucket hochladen. Sie nehmen diesen Bucket dann auf, wenn Sie Inferenz ausführen, wie unter [Deploy your Hugging Face Transformers](https://github.com/huggingface/notebooks/blob/main/sagemaker/10_deploy_model_from_s3/deploy_transformer_model_from_s3.ipynb) für das Inferenzbeispiel gezeigt.
+ **Führen Sie Inferenz mit einem vortrainierten HuggingFace Modell durch:** Sie können eines der Tausenden von vortrainierten Hugging Face Face-Modellen verwenden, um Ihre Inferenzjobs auszuführen, ohne dass zusätzliche Schulungen erforderlich sind. Um die Inferenz auszuführen, wählen Sie das vortrainierte Modell aus der Liste der [Hugging-Face-Modelle](https://huggingface.co/models) aus, wie im [Beispiel „Vortrainierte Hugging-Face-Transformers für die Inferenz bereitstellen“](https://github.com/huggingface/notebooks/blob/main/sagemaker/11_deploy_model_from_hf_hub/deploy_transformer_model_from_hf_hub.ipynb) beschrieben.
## Was möchten Sie tun?
Die folgenden Notizbücher im Hugging Face-Notizbuch-Repository zeigen, wie die Hugging Face Deep Learning Containers mit SageMaker KI in verschiedenen Anwendungsfällen verwendet werden können.
Ich möchte ein Textklassifizierungsmodell mit Hugging Face in SageMaker AI mit trainieren und einsetzen. PyTorch
[Ein Beispiel für ein Jupyter Notebook finden Sie in der Getting Started Demo. PyTorch ](https://github.com/huggingface/notebooks/blob/main/sagemaker/01_getting_started_pytorch/sagemaker-notebook.ipynb)
Ich möchte ein Textklassifizierungsmodell mit Hugging Face in SageMaker AI mit trainieren und einsetzen. TensorFlow
[Ein Beispiel für ein Jupyter Notebook finden Sie im Beispiel Erste Schritte. TensorFlow ](https://github.com/huggingface/notebooks/blob/main/sagemaker/02_getting_started_tensorflow/sagemaker-notebook.ipynb)
Ich möchte verteiltes Training mit Datenparallelität mit Hugging Face und AI Distributed durchführen. SageMaker
Ein Beispiel für ein Jupyter Notebook finden Sie im [Distributed Trainingsbeispiel](https://github.com/huggingface/notebooks/blob/main/sagemaker/03_distributed_training_data_parallelism/sagemaker-notebook.ipynb).
Ich möchte verteiltes Training mit Modellparallelität mit Hugging Face und AI Distributed durchführen. SageMaker
Ein Beispiel für ein Jupyter Notebook finden Sie im [Model Parallelismbeispiel](https://github.com/huggingface/notebooks/blob/main/sagemaker/04_distributed_training_model_parallelism/sagemaker-notebook.ipynb)
Ich möchte eine Spot-Instance verwenden, um ein Modell mit Hugging Face in SageMaker KI zu trainieren und bereitzustellen.
Ein Beispiel für ein Jupyter Notebook finden Sie im [ Beispiel Spot-Instances](https://github.com/huggingface/notebooks/blob/main/sagemaker/05_spot_instances/sagemaker-notebook.ipynb).
Ich möchte benutzerdefinierte Metriken erfassen und SageMaker KI Checkpointing verwenden, wenn ich ein Textklassifizierungsmodell mit Hugging Face in KI trainiere. SageMaker
Ein Beispiel für ein Jupyter Notebook finden Sie im Beispiel [Training mit benutzerdefinierten Metriken](https://github.com/huggingface/notebooks/blob/main/sagemaker/06_sagemaker_metrics/sagemaker-notebook.ipynb)
Ich möchte ein verteiltes TensorFlow Modell zur Beantwortung von Fragen mit Hugging Face in KI trainieren. SageMaker
[Ein Beispiel für ein Jupyter Notebook finden Sie im Beispiel für verteiltes Training. TensorFlow ](https://github.com/huggingface/notebooks/blob/main/sagemaker/07_tensorflow_distributed_training_data_parallelism/sagemaker-notebook.ipynb)
Ich möchte ein verteiltes Zusammenfassungsmodell mit Hugging Face in KI trainieren. SageMaker
Ein Beispiel für ein Jupyter Notebook finden Sie im [Beispiel Distributed Summarization Training](https://github.com/huggingface/notebooks/blob/main/sagemaker/08_distributed_summarization_bart_t5/sagemaker-notebook.ipynb).
Ich möchte ein Bildklassifizierungsmodell mit Hugging Face in SageMaker KI trainieren.
Ein Beispiel für ein Jupyter Notebook finden Sie im [Beispiel Vision Transformer Training](https://github.com/huggingface/notebooks/blob/main/sagemaker/09_image_classification_vision_transformer/sagemaker-notebook.ipynb).
Ich möchte mein trainiertes Hugging Face Face-Modell in SageMaker KI einsetzen.
Ein Beispiel für ein Jupyter Notebook finden Sie im Beispiel [Setzen Sie Ihre Umarmungsgesicht-Transformatoren für das Inferenzbeispiel ein](https://github.com/huggingface/notebooks/blob/main/sagemaker/10_deploy_model_from_s3/deploy_transformer_model_from_s3.ipynb).
Ich möchte ein vortrainiertes Hugging Face Face-Modell in KI einsetzen. SageMaker
Ein Beispiel für ein Jupyter Notebook finden Sie im Beispiel [Einsatz von vorab trainierten Umarmungsgesichtstransformatoren für ein Inferenzbeispiel](https://github.com/huggingface/notebooks/blob/main/sagemaker/11_deploy_model_from_hf_hub/deploy_transformer_model_from_hf_hub.ipynb).
# Ressourcen für die Verwendung PyTorch mit Amazon SageMaker AI
Sie können Amazon SageMaker AI verwenden, um ein Modell mithilfe von benutzerdefiniertem PyTorch Code zu trainieren und bereitzustellen. Die SageMaker PyTorch KI-Python-SDK-Schätzer und -Modelle sowie der SageMaker PyTorch KI-Open-Source-Container erleichtern das Schreiben eines PyTorch Skripts und dessen Ausführung in SageMaker KI. Der folgende Abschnitt enthält Referenzmaterial, anhand dessen Sie den Umgang PyTorch mit SageMaker KI erlernen können.
## Was möchten Sie tun?
Ich möchte ein benutzerdefiniertes PyTorch Modell in SageMaker KI trainieren.
Ein Beispiel für ein Jupyter-Notizbuch finden Sie im [Beispiel-Notizbuch](https://github.com/awslabs/amazon-sagemaker-examples/tree/master/sagemaker-python-sdk/pytorch_mnist) im Amazon SageMaker AI Examples Repository. PyTorch GitHub
Die Dokumentation finden Sie unter [Train a Model with](https://sagemaker.readthedocs.io/en/stable/using_pytorch.html#train-a-model-with-pytorch). PyTorch
Ich habe ein PyTorch Modell, das ich in SageMaker KI trainiert habe, und ich möchte es auf einem gehosteten Endpunkt bereitstellen.
Weitere Informationen finden Sie unter [ PyTorch Modelle bereitstellen](https://sagemaker.readthedocs.io/en/stable/using_pytorch.html#deploy-pytorch-models).
Ich habe ein PyTorch Modell, das ich außerhalb von SageMaker KI trainiert habe, und ich möchte es auf einem SageMaker KI-Endpunkt einsetzen
Weitere Informationen finden Sie unter [Implementieren Sie Ihr eigenes PyTorch Modell](https://sagemaker.readthedocs.io/en/stable/frameworks/pytorch/using_pytorch.html#bring-your-own-model).
Ich möchte die API-Dokumentation für [Amazon SageMaker Python PyTorch SDK-Klassen](https://sagemaker.readthedocs.io/en/stable) sehen.
Weitere Informationen finden Sie unter [PyTorch Klassen](https://sagemaker.readthedocs.io/en/stable/sagemaker.pytorch.html).
Ich möchte das SageMaker PyTorch AI-Container-Repository finden.
Weitere Informationen finden Sie unter [SageMaker AI PyTorch Container GitHub Repository](https://github.com/aws/deep-learning-containers/tree/master/pytorch).
Ich möchte Informationen zu PyTorch Versionen finden, die von AWS Deep Learning Containers unterstützt werden.
Weitere Informationen finden Sie unter [Verfügbare Deep-Learning-Container-Images](https://github.com/aws/deep-learning-containers/blob/master/available_images.md).
Allgemeine Informationen zum Schreiben von PyTorch Trainingsskripten und PyTorch zur Verwendung von Schätzern und Modellen mit SageMaker KI finden Sie unter [ PyTorch Mit dem SageMaker Python-SDK verwenden](https://sagemaker.readthedocs.io/en/stable/using_pytorch.html).
# Ressourcen für die Verwendung von R mit Amazon SageMaker AI
In diesem Dokument sind Ressourcen aufgeführt, mit denen Sie lernen können, wie Sie die Funktionen von Amazon SageMaker AI mit der R-Softwareumgebung verwenden können. In den folgenden Abschnitten wird der integrierte R-Kernel von SageMaker AI vorgestellt, die ersten Schritte mit R auf SageMaker AI erläutert und es werden mehrere Beispiel-Notebooks vorgestellt.
Die Beispiele sind in drei Stufen unterteilt: Einsteiger, Fortgeschritten und Experte. Sie beginnen mit [Erste Schritte mit R auf SageMaker KI](https://sagemaker-examples.readthedocs.io/en/latest/r_examples/r_sagemaker_hello_world/r_sagemaker_hello_world.html), setzen sich mit end-to-end maschinellem Lernen mit R auf SageMaker KI fort und enden dann mit fortgeschritteneren Themen wie SageMaker Verarbeitung mit R-Skript und bring-your-own R-Algorithmus zu SageMaker KI.
Informationen darüber, wie Sie Ihr eigenes benutzerdefiniertes R-Image in Studio importieren können, finden Sie unter [Benutzerdefinierte Bilder in Amazon SageMaker Studio Classic](studio-byoi.md). Einen ähnlichen Blogartikel finden Sie unter [Bring your own R environment to Amazon SageMaker Studio](https://aws.amazon.com/blogs/machine-learning/bringing-your-own-r-environment-to-amazon-sagemaker-studio/).
**Topics**
+ [RStudio Unterstützung im Bereich SageMaker KI](#rstudio-for-r)
+ [R-Kernel in SageMaker KI](#r-sagemaker-kernel-ni)
+ [Beispiel-Notebooks](#r-sagemaker-example-notebooks)
+ [Erste Schritte mit R in SageMaker KI](r-sagemaker-get-started.md)
## RStudio Unterstützung im Bereich SageMaker KI
Amazon SageMaker AI unterstützt RStudio als vollständig verwaltete integrierte Entwicklungsumgebung (IDE), die in die Amazon SageMaker AI-Domain integriert ist. Mit der RStudio Integration können Sie eine RStudio Umgebung in der Domain starten, um Ihre RStudio Workflows auf SageMaker KI-Ressourcen auszuführen. Weitere Informationen finden Sie unter [RStudio auf Amazon SageMaker AI](rstudio.md).
## R-Kernel in SageMaker KI
SageMaker Notebook-Instances unterstützen R mit einem vorinstallierten R-Kernel. Außerdem verfügt der R-Kernel über die Reticulate-Bibliothek, eine R-zu-Python-Schnittstelle, sodass Sie die Funktionen des SageMaker AI Python SDK in einem R-Skript verwenden können.
+ [reticulatelibrary](https://rstudio.github.io/reticulate/)[: bietet eine R-Schnittstelle zum Amazon Python SDK. SageMaker ](https://sagemaker.readthedocs.io/en/stable) Das Reticulate-Paket übersetzt zwischen R- und Python-Objekten.
## Beispiel-Notebooks
**Voraussetzungen**
+ [Erste Schritte mit R on SageMaker AI](https://sagemaker-examples.readthedocs.io/en/latest/r_examples/r_sagemaker_hello_world/r_sagemaker_hello_world.html) — In diesem Beispielnotizbuch wird beschrieben, wie Sie R-Skripts mit dem R-Kernel von Amazon SageMaker AI entwickeln können. In diesem Notizbuch richten Sie Ihre SageMaker KI-Umgebung und Ihre Berechtigungen ein, laden den [Abalone-Datensatz](https://archive.ics.uci.edu/ml/datasets/abalone) aus dem [UCI Machine Learning Repository](https://archive.ics.uci.edu/datasets) herunter, führen einige grundlegende Verarbeitungen und Visualisierungen der Daten durch und speichern die Daten dann im CSV-Format in S3.
**Einsteiger**
+ [SageMaker AI Batch Transform mit R Kernel](https://sagemaker-examples.readthedocs.io/en/latest/r_examples/r_batch_transform/r_xgboost_batch_transform.html) — In diesem Beispiel-Notizbuch wird beschrieben, wie ein Batch-Transformationsjob mithilfe der Transformer-API und des [XGBoostAlgorithmus](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html) von SageMaker AI ausgeführt wird. Das Notizbuch verwendet auch den Abalone-Datensatz.
**Fortgeschritten**
+ [Hyperparameter-Optimierung für XGBoost in R](https://sagemaker-examples.readthedocs.io/en/latest/r_examples/r_xgboost_hpo_batch_transform/r_xgboost_hpo_batch_transform.html) — Dieses Beispielnotizbuch erweitert die vorherigen Anfänger-Notebooks, die den Abalone-Datensatz und verwenden. XGBoost Es wird beschrieben, wie die Modellabstimmung mit[Hyperparameter-Optimierung](https://sagemaker.readthedocs.io/en/stable/tuner.html) durchgeführt wird. Außerdem erfahren Sie, wie Sie die Stapeltransformation für Stapelvorhersagen verwenden und wie Sie einen Modellendpunkt für Echtzeitvorhersagen erstellen.
+ Mit [Amazon SageMaker Processing with R](https://sagemaker-examples.readthedocs.io/en/latest/r_examples/r_in_sagemaker_processing/r_in_sagemaker_processing.html) — [SageMaker Processing](https://aws.amazon.com/blogs/aws/amazon-sagemaker-processing-fully-managed-data-processing-and-model-evaluation/) können Sie Modellevaluierungs-Workloads vor- und nachverarbeiten und ausführen. In diesem Beispiel wird gezeigt, wie Sie ein R-Skript erstellen, um einen Verarbeitungsauftrag zu orchestrieren.
**Experte**
+ [Trainieren und implementieren Sie Ihren eigenen R-Algorithmus in SageMaker KI](https://sagemaker-examples.readthedocs.io/en/latest/r_examples/r_byo_r_algo_hpo/tune_r_bring_your_own.html) — Haben Sie bereits einen R-Algorithmus und möchten ihn in die SageMaker KI integrieren, um ihn zu optimieren, zu trainieren oder einzusetzen? Dieses Beispiel führt Sie durch die Anpassung von SageMaker KI-Containern mit benutzerdefinierten R-Paketen bis hin zur Verwendung eines gehosteten Endpunkts für Inferenzen auf Ihr R-Origin-Modell.
# Erste Schritte mit R in SageMaker KI
In diesem Thema wird erklärt, wie Sie mit der Verwendung der R-Softwareumgebung in SageMaker KI beginnen. Weitere Informationen zur Verwendung von R mit SageMaker KI finden Sie unter[Ressourcen für die Verwendung von R mit Amazon SageMaker AI](r-guide.md).
**Um mit R in der SageMaker AI-Konsole zu beginnen**
1. [Erstellen Sie eine Notebook-Instance](https://docs.aws.amazon.com/sagemaker/latest/dg/howitworks-create-ws.html) mit dem Instance-Typ t2.medium und der Standardspeichergröße. Sie können eine schnellere Instance und mehr Speicher auswählen, wenn Sie die Instance weiterhin für fortgeschrittenere Beispiele verwenden oder später eine größere Instance erstellen möchten.
1. Warten Sie, bis der Status des Notebooks **In Betrieb** lautet, und klicken Sie dann auf **Jupyter öffnen**.
![\[Position des InServiceStatus und des Links „Jupyter öffnen“ in der Konsole.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/An-R-User-Guide-to-SageMaker/An-R-User-Guide-to-SageMaker-1.png)
1. Erstellen Sie ein neues Notebook mit R-Kernel aus der Liste der verfügbaren Umgebungen.
![\[Position des R-Kernels in der Liste der verfügbaren Umgebungen.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/An-R-User-Guide-to-SageMaker/An-R-User-Guide-to-SageMaker-2.png)
1. Wenn das neue Notebook erstellt wird, sollten Sie ein R-Logo in der oberen rechten Ecke der Notebook-Umgebung und R als Kernel unter diesem Logo sehen. Dies deutet darauf hin, dass SageMaker AI den R-Kernel für dieses Notebook erfolgreich gestartet hat.
![\[Position des R-Logos und des R-Kernels der Notebook-Umgebung.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/An-R-User-Guide-to-SageMaker/An-R-User-Guide-to-SageMaker-3.png)
Wenn Sie in einem Jupyter Notebook sind, können Sie alternativ das **Kernel**-Menü verwenden und anschließend **R** aus dem Untermenü **Kernel ändern** auswählen.
![\[Ort, an dem Sie Ihren Notebook-Kernel auf R ändern können.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/An-R-User-Guide-to-SageMaker/An-R-User-Guide-to-SageMaker-4.png)
# Ressourcen für die Verwendung von Scikit-Learn mit Amazon AI SageMaker
Sie können Amazon SageMaker AI verwenden, um ein Modell mithilfe von benutzerdefiniertem Scikit-Learn-Code zu trainieren und bereitzustellen. Das SageMaker KI-Python-SDK Scikit-Learn-Schätzer und -Modelle und die SageMaker KI-Open-Source-Scikit-Learn-Container erleichtern das Schreiben eines Scikit-Learn-Skripts und dessen Ausführung in KI. SageMaker Der folgende Abschnitt enthält Referenzmaterial, anhand dessen Sie lernen können, wie Sie Scikit-Learn mit KI verwenden können. SageMaker
**Voraussetzungen**
Scikit-learn 1.4 hat die folgenden Abhängigkeiten.
| -Abhängigkeit | Mindestversion |
| --- | --- |
| Python | 3.10 |
| NumPy | 2.1.0 |
| SciPy | 1.15,3 |
| joblib | 1.5.2 |
| Threadpoolctl | 3.6.0 |
Der SageMaker AI Scikit-Learn-Container unterstützt die folgenden Scikit-Learn-Versionen.
| Unterstützte Scikit-Learn-Version | Minimale Python-Versionen |
| --- | --- |
| 1.4-2 | 3.10 |
| 1.2-1 | 3.8 |
| 1.0-1 | 3.7 |
| 0.23-1 | 3.6 |
| 0.20.0 | 2.7 oder 3.4 |
[Allgemeine Informationen zum Schreiben von Scikit-Learn-Trainingsskripten und zur Verwendung von Scikit-Learn-Schätzern und -Modellen mit SageMaker KI finden Sie unter Scikit-Learn mit dem Python-SDK verwenden. SageMaker ](https://sagemaker.readthedocs.io/en/stable/using_sklearn.html)
## Was möchten Sie tun?
**Anmerkung**
Matplotlib v2.2.3 oder neuer ist erforderlich, um die AI Scikit-Learn-Beispiel-Notebooks auszuführen. SageMaker
Ich möchte Scikit-Learn für Datenverarbeitung, Feature-Engineering oder Modellevaluierung in KI verwenden. SageMaker
[Ein Beispiel für ein Jupyter-Notebook finden Sie unter/\$1learn\$1data\$1processing\$1and\$1model\$1evaluation. https://github.com/awslabs/ amazon-sagemaker-examples tree/master/sagemaker\$1processing/scikit](https://github.com/awslabs/amazon-sagemaker-examples/tree/master/sagemaker_processing/scikit_learn_data_processing_and_model_evaluation)
Einen Blogbeitrag zum Training und zur Implementierung eines Scikit-Learn-Modells finden Sie unter [Amazon SageMaker AI fügt](https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-adds-scikit-learn-support/) Scikit-Learn-Unterstützung hinzu.
Dokumentation finden Sie unter [ReadTheDocs](https://sagemaker.readthedocs.io/en/stable/amazon_sagemaker_processing.html#data-pre-processing-and-model-evaluation-with-scikit-learn).
Ich möchte ein benutzerdefiniertes Scikit-Learn-Modell in KI trainieren. SageMaker
[Ein Beispiel für ein Jupyter-Notizbuch finden Sie unter/\$1learn\$1iris. https://github.com/awslabs/ amazon-sagemaker-examples tree/master/sagemaker-python-sdk/scikit](https://github.com/awslabs/amazon-sagemaker-examples/tree/master/sagemaker-python-sdk/scikit_learn_iris)
Die Dokumentation finden Sie unter [Train a Model with Scikit-learn](https://sagemaker.readthedocs.io/en/stable/using_sklearn.html#train-a-model-with-sklearn).
Ich habe ein Scikit-Learn-Modell, das ich in SageMaker KI trainiert habe, und ich möchte es auf einem gehosteten Endpunkt einsetzen.
Weitere Informationen finden Sie unter [Bereitstellen von Scikit-Learn-Modellen](https://sagemaker.readthedocs.io/en/stable/using_sklearn.html#deploy-sklearn-models).
Ich habe ein Scikit-Learn-Modell, das ich außerhalb von SageMaker KI trainiert habe, und ich möchte es auf einem KI-Endpunkt einsetzen SageMaker
Weitere Informationen finden Sie unter [Bereitstellen von Endpunkten aus Modelldaten](https://sagemaker.readthedocs.io/en/stable/using_sklearn.html#deploy-endpoints-from-model-data).
Ich möchte die API-Dokumentation für [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable) Scikit-Learn-Klassen sehen.
Weitere Informationen finden Sie unter [Scikit-Learn-Klassen](https://sagemaker.readthedocs.io/en/stable/sagemaker.sklearn.html).
Ich möchte Informationen über SageMaker KI-Scikit-Learn-Container sehen.
Weitere Informationen finden Sie im [SageMaker Scikit-Learn](https://github.com/aws/sagemaker-scikit-learn-container) Container-Repository. GitHub
# Ressourcen für die Verwendung von SparkML Serving mit Amazon AI SageMaker
Das [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable) SparkML Serving Model and Predictor und der Amazon SageMaker AI Open-Source-Container SparkML Serving unterstützen die Bereitstellung von Apache Spark ML-Pipelines, die in KI serialisiert sind, um Rückschlüsse zu ziehen. MLeap SageMaker Verwenden Sie die folgenden Ressourcen, um zu erfahren, wie Sie SparkML Serving mit SageMaker KI verwenden können.
Informationen zur Verwendung des SparkML-Serving-Containers zur Bereitstellung von Modellen für SageMaker KI finden Sie unter [SageMaker Spark ML GitHub Container-Repository](https://github.com/aws/sagemaker-sparkml-serving-container). Informationen zum [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable) SparkML Serving Modell und zu den Prädiktoren finden Sie in der Dokumentation [SparkML Serving Model](https://sagemaker.readthedocs.io/en/stable/sagemaker.sparkml.html) und Predictor API.
# Ressourcen für die Verwendung TensorFlow mit Amazon SageMaker AI
Sie können Amazon SageMaker AI verwenden, um ein Modell mithilfe von benutzerdefiniertem TensorFlow Code zu trainieren und bereitzustellen. Die SageMaker TensorFlow KI-Python-SDK-Schätzer und -Modelle sowie die SageMaker TensorFlow KI-Open-Source-Container können helfen. Verwenden Sie die folgende Liste von Ressourcen, um weitere Informationen zu finden, je nachdem, welche Version von TensorFlow Sie verwenden und was Sie tun möchten.
## TensorFlow Version 1.11 und höher
Für TensorFlow Versionen 1.11 und höher unterstützt das [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable) Schulungsskripte im Skriptmodus.
### Was möchten Sie tun?
Ich möchte ein benutzerdefiniertes TensorFlow Modell in SageMaker KI trainieren.
Ein Beispiel für ein Jupyter-Notizbuch finden Sie unter [Training und Bereitstellung im TensorFlow Skriptmodus](https://sagemaker-examples.readthedocs.io/en/latest/sagemaker-python-sdk/tensorflow_script_mode_training_and_serving/tensorflow_script_mode_training_and_serving.html).
Die Dokumentation finden Sie unter [Trainieren eines Modells mit](https://sagemaker.readthedocs.io/en/stable/using_tf.html#train-a-model-with-tensorflow). TensorFlow
Ich habe ein TensorFlow Modell, das ich in SageMaker KI trainiert habe, und ich möchte es auf einem gehosteten Endpunkt bereitstellen.
Weitere Informationen finden Sie unter [ TensorFlow Bereitstellen von Servermodellen](https://sagemaker.readthedocs.io/en/stable/using_tf.html#deploy-tensorflow-serving-models).
Ich habe ein TensorFlow Modell, das ich außerhalb von SageMaker KI trainiert habe, und ich möchte es auf einem SageMaker KI-Endpunkt einsetzen.
Weitere Informationen finden Sie unter [Bereitstellung direkt aus Modellartefakten](https://sagemaker.readthedocs.io/en/stable/using_tf.html#deploying-directly-from-model-artifacts).
Ich möchte die API-Dokumentation für [Amazon SageMaker Python TensorFlow SDK-Klassen](https://sagemaker.readthedocs.io/en/stable) sehen.
Weitere Informationen finden Sie unter [TensorFlow Estimator](https://sagemaker.readthedocs.io/en/stable/sagemaker.tensorflow.html).
Ich möchte das SageMaker TensorFlow AI-Container-Repository finden.
Weitere Informationen finden Sie unter [SageMaker TensorFlow GitHub Container-Repository](https://github.com/aws/sagemaker-tensorflow-container).
Ich möchte Informationen zu TensorFlow Versionen finden, die von AWS Deep Learning Containers unterstützt werden.
Weitere Informationen finden Sie unter [Verfügbare Deep-Learning-Container-Images](https://github.com/aws/deep-learning-containers/blob/master/available_images.md).
Allgemeine Informationen zum Schreiben von Trainingsskripten für den TensorFlow Skriptmodus und zur Verwendung von Schätzern und Modellen für den TensorFlow Skriptmodus mit SageMaker KI finden Sie unter [Verwenden TensorFlow mit dem SageMaker Python-SDK](https://sagemaker.readthedocs.io/en/stable/using_tf.html).
## TensorFlow Legacy-Modus für Versionen 1.11 und früher
Das [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable) bietet einen Legacy-Modus, der TensorFlow Versionen 1.11 und frühere Versionen unterstützt. Verwenden Sie TensorFlow Trainingsskripte für den Legacy-Modus, um TensorFlow Jobs in SageMaker KI auszuführen, wenn:
+ Sie bereits über Skripte im Legacy-Modus verfügen, die Sie nicht in den Skriptmodus umwandeln möchten.
+ Sie möchten eine TensorFlow Version vor 1.11 verwenden.
Informationen zum Schreiben von TensorFlow Skripten im Legacy-Modus zur Verwendung mit dem SageMaker AI Python SDK finden Sie unter [TensorFlow SageMaker Estimators and Models.](https://github.com/aws/sagemaker-python-sdk/tree/v1.12.0/src/sagemaker/tensorflow#tensorflow-sagemaker-estimators-and-models)
# Ressourcen für die Verwendung von Triton Inference Server mit Amazon AI SageMaker
SageMaker KI ermöglicht es Kunden, ein Modell mithilfe von benutzerdefiniertem Code mit NVIDIA Triton Inference Server bereitzustellen. Verwenden Sie die folgenden Ressourcen, um zu erfahren, wie Sie Triton Inference Server mit KI verwenden können. SageMaker
Diese Funktionalität ist im Rahmen der Entwicklung von [Triton Inference Server Containers](https://docs.aws.amazon.com/deep-learning-containers/latest/devguide/what-is-dlc.html) verfügbar. Zu diesen Containern gehören NVIDIA Triton Inference Server, Unterstützung für gängige ML-Frameworks und nützliche Umgebungsvariablen, mit denen Sie die Leistung auf KI optimieren können. SageMaker Eine vollständige Liste der verfügbaren Regionen und Bild-URLs von Deep-Learning-Containern finden Sie unter [Verfügbare Deep Learning Containers Images](https://github.com/aws/deep-learning-containers/blob/master/available_images.md). Deep Learning Containers Container-Images werden verwaltet und regelmäßig mit Sicherheitspatches aktualisiert.
Sie können den Triton Inference Server Container mit SageMaker Python SDK wie jeden anderen Container in Ihren SageMaker KI-Modellen verwenden. Die Verwendung des SageMaker Python-SDK ist jedoch optional. Sie können Triton Inference Server Containers mit und verwenden. AWS CLI AWS SDK für Python (Boto3)
Weitere Informationen zu NVIDIA Triton Inference Server finden Sie in der [Triton-Dokumentation](https://docs.nvidia.com/deeplearning/triton-inference-server/#).
## Inferenz
**Anmerkung**
Das Triton Python-Backend verwendet Shared Memory (SHMEM), um Ihren Code mit Triton zu verbinden. SageMaker AI Inference stellt bis zu der Hälfte des Instanzspeichers als SHMEM bereit, sodass Sie eine Instanz mit mehr Speicher für eine größere SHMEM-Größe verwenden können.
Für Inferenz können Sie Ihre trainierten ML-Modelle mit Triton Inference Server verwenden, um einen Inferenzjob mit KI bereitzustellen. SageMaker
Einige der wichtigsten Funktionen von Triton Inference Server Container sind:
+ **Support für mehrere Frameworks**: Triton kann verwendet werden, um Modelle aus allen wichtigen ML-Frameworks bereitzustellen. Triton unterstützt TensorFlow GraphDef und SavedModel, ONNX PyTorch TorchScript, TensorRT und benutzerdefinierte Python/C\$1\$1-Modellformate.
+ **Modell-Pipelines**: Das Triton-Modellensemble stellt eine Pipeline aus einem Modell mit pre/post Verarbeitungslogik und der Verbindung von Eingabe- und Ausgangstensoren zwischen ihnen dar. Eine einzelne Inferenzanforderung an ein Ensemble löst die Ausführung der gesamten Pipeline aus.
+ **Gleichzeitige Modellausführung**: Mehrere Instanzen desselben Modells können gleichzeitig auf derselben GPU oder auf mehreren ausgeführt werden. GPUs
+ **Dynamisches Batching**: Für Modelle, die Batching unterstützen, verfügt Triton über mehrere integrierte Planungs- und Batching-Algorithmen, die einzelne Inferenzanfragen miteinander kombinieren, um den Inferenzdurchsatz zu verbessern. Diese Planungs- und Batching-Entscheidungen sind für den Kunden, der Inferenz anfordert, transparent.
+ **Vielfältige CPU- und GPU-Unterstützung**: Die Modelle können auf CPUs oder ausgeführt werden, GPUs um maximale Flexibilität zu erzielen und heterogene Rechenanforderungen zu unterstützen.
## Was möchten Sie tun?
Ich möchte mein trainiertes PyTorch Modell in SageMaker KI einsetzen.
Ein Beispiel für ein Jupyter-Notebook finden Sie im Beispiel [Deploy your PyTorch Resnet50-Modell mit](https://github.com/aws/amazon-sagemaker-examples/blob/master/sagemaker-triton/resnet50/triton_resnet50.ipynb) Triton Inference Server.
Ich möchte mein trainiertes Hugging Face Face-Modell in SageMaker KI einsetzen.
Ein Beispiel für ein Jupyter Notebook finden Sie im Beispiel [Deploy your PyTorch BERT model with](https://github.com/aws/amazon-sagemaker-examples/blob/master/sagemaker-triton/nlp_bert/triton_nlp_bert.ipynb) Triton Inference Server.