Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Datenverarbeitung mit Framework-Prozessoren A `FrameworkProcessor` kann Verarbeitungsjobs mit einem bestimmten Machine Learning-Framework ausführen und stellt Ihnen einen von Amazon SageMaker AI verwalteten Container für das von Ihnen gewählte Machine Learning-Framework zur Verfügung. `FrameworkProcessor`bietet vorgefertigte Container für die folgenden Frameworks für maschinelles Lernen: Hugging Face,, MXNet PyTorch, TensorFlow und. XGBoost Die `FrameworkProcessor` Klasse bietet Ihnen auch die Möglichkeit, die Container-Konfiguration anzupassen. Die `FrameworkProcessor` Klasse unterstützt die Angabe eines Quellverzeichnisses `source_dir` für Ihre Verarbeitungsskripten und Abhängigkeiten. Mit dieser Funktion können Sie dem Prozessor Zugriff auf mehrere Skripten in einem Verzeichnis gewähren, anstatt nur ein Skript anzugeben. `FrameworkProcessor` unterstützt auch das Einfügen einer `requirements.txt` Datei in die `source_dir` zum Anpassen der Python-Bibliotheken, die im Container installiert werden sollen. Weitere Informationen zur `FrameworkProcessor` Klasse und ihren Methoden und Parametern finden Sie [FrameworkProcessor](https://sagemaker.readthedocs.io/en/stable/api/training/processing.html#sagemaker.processing.FrameworkProcessor)im *Amazon SageMaker AI Python SDK*. Beispiele für die Verwendung von a `FrameworkProcessor` für jedes der unterstützten Frameworks für Machine Learning finden Sie in den folgenden Themen. **Topics** + [Codebeispiel für die Verwendung HuggingFaceProcessor im Amazon SageMaker Python SDK](processing-job-frameworks-hugging-face.md) + [MXNet Framework-Prozessor](processing-job-frameworks-mxnet.md) + [PyTorch Framework-Prozessor](processing-job-frameworks-pytorch.md) + [TensorFlow Framework-Prozessor](processing-job-frameworks-tensorflow.md) + [XGBoost Framework-Prozessor](processing-job-frameworks-xgboost.md) # Codebeispiel für die Verwendung HuggingFaceProcessor im Amazon SageMaker Python SDK Hugging Face ist ein Open-Source-Anbieter von Modellen zur natürlichen Sprachverarbeitung (NLP). Das `HuggingFaceProcessor` im Amazon SageMaker Python SDK enthaltene SDK bietet Ihnen die Möglichkeit, Verarbeitungsjobs mit Hugging Face Face-Skripten auszuführen. Wenn Sie den `HuggingFaceProcessor` verwenden, können Sie einen von Amazon erstellten Docker-Container mit einer verwalteten Hugging Face-Umgebung nutzen, sodass Sie keinen eigenen Container mitbringen müssen. Das folgende Codebeispiel zeigt, wie Sie den verwenden können, `HuggingFaceProcessor` um Ihren Processing-Job mithilfe eines von AI bereitgestellten und verwalteten Docker-Images auszuführen. SageMaker Beachten Sie, dass Sie bei der Ausführung des Jobs ein Verzeichnis mit Ihren Skripten und Abhängigkeiten im `source_dir` Argument angeben können und dass sich in Ihrem `source_dir` Verzeichnis eine `requirements.txt` Datei befinden kann, die die Abhängigkeiten für Ihre Verarbeitungsskripte angibt. SageMaker Bei der Verarbeitung werden die Abhängigkeiten für Sie `requirements.txt` im Container installiert. ``` from sagemaker.huggingface import HuggingFaceProcessor from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker import get_execution_role #Initialize the HuggingFaceProcessor hfp = HuggingFaceProcessor( role=get_execution_role(), instance_count=1, instance_type='ml.g4dn.xlarge', transformers_version='4.4.2', pytorch_version='1.6.0', base_job_name='frameworkprocessor-hf' ) #Run the processing job hfp.run( code='processing-script.py', source_dir='scripts', inputs=[ ProcessingInput( input_name='data', source=f's3://{BUCKET}/{S3_INPUT_PATH}', destination='/opt/ml/processing/input/data/' ) ], outputs=[ ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'), ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'), ProcessingOutput(output_name='val', source='/opt/ml/processing/output/val/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}') ] ) ``` Wenn Sie eine `requirements.txt` Datei haben, sollte es sich um eine Liste von Bibliotheken handeln, die Sie im Container installieren möchten. Der Pfad für `source_dir` kann ein relativer, absoluter oder Amazon-S3-URI-Pfad sein. Wenn Sie jedoch einen Amazon-S3-URI verwenden, muss dieser auf eine Datei tar.gz verweisen. Sie können mehrere Skripte in dem Verzeichnis haben, das Sie für `source_dir` angeben. Weitere Informationen zu diesem `HuggingFaceProcessor` Kurs finden Sie unter [Hugging Face Estimator](https://sagemaker.readthedocs.io/en/stable/frameworks/huggingface/sagemaker.huggingface.html) im *Amazon SageMaker AI* Python SDK. # MXNet Framework-Prozessor Apache MXNet ist ein Open-Source-Deep-Learning-Framework, das häufig für das Training und den Einsatz neuronaler Netzwerke verwendet wird. Das `MXNetProcessor` im Amazon SageMaker Python SDK enthaltene SDK bietet Ihnen die Möglichkeit, Verarbeitungsaufträge mit MXNet Skripten auszuführen. Wenn Sie den verwenden`MXNetProcessor`, können Sie einen von Amazon erstellten Docker-Container mit einer verwalteten MXNet Umgebung nutzen, sodass Sie keinen eigenen Container mitbringen müssen. Das folgende Codebeispiel zeigt, wie Sie den verwenden können`MXNetProcessor`, um Ihren Verarbeitungsjob mithilfe eines von AI bereitgestellten und verwalteten Docker-Images auszuführen. SageMaker Beachten Sie, dass Sie bei der Ausführung des Jobs ein Verzeichnis mit Ihren Skripten und Abhängigkeiten im `source_dir` Argument angeben können und dass sich in Ihrem `source_dir` Verzeichnis eine `requirements.txt` Datei befinden kann, die die Abhängigkeiten für Ihre Verarbeitungsskripte angibt. SageMaker Bei der Verarbeitung werden die Abhängigkeiten für Sie `requirements.txt` im Container installiert. ``` from sagemaker.mxnet import MXNetProcessor from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker import get_execution_role #Initialize the MXNetProcessor mxp = MXNetProcessor( framework_version='1.8.0', py_version='py37', role=get_execution_role(), instance_count=1, instance_type='ml.c5.xlarge', base_job_name='frameworkprocessor-mxnet' ) #Run the processing job mxp.run( code='processing-script.py', source_dir='scripts', inputs=[ ProcessingInput( input_name='data', source=f's3://{BUCKET}/{S3_INPUT_PATH}', destination='/opt/ml/processing/input/data/' ) ], outputs=[ ProcessingOutput( output_name='processed_data', source='/opt/ml/processing/output/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}' ) ] ) ``` Wenn Sie eine `requirements.txt` Datei haben, sollte es sich um eine Liste von Bibliotheken handeln, die Sie im Container installieren möchten. Der Pfad für `source_dir` kann ein relativer, absoluter oder Amazon-S3-URI-Pfad sein. Wenn Sie jedoch einen Amazon-S3-URI verwenden, muss dieser auf eine Datei tar.gz verweisen. Sie können mehrere Skripte in dem Verzeichnis haben, das Sie für `source_dir` angeben. Weitere Informationen zu der `MXNetProcessor` Klasse finden Sie unter [MXNet Estimator](https://sagemaker.readthedocs.io/en/stable/frameworks/mxnet/sagemaker.mxnet.html#mxnet-estimator) im *Amazon SageMaker Python SDK*. # PyTorch Framework-Prozessor PyTorch ist ein Open-Source-Framework für maschinelles Lernen. Das `PyTorchProcessor` im Amazon SageMaker Python SDK enthaltene SDK bietet Ihnen die Möglichkeit, Verarbeitungsaufträge mit PyTorch Skripten auszuführen. Wenn Sie den verwenden`PyTorchProcessor`, können Sie einen von Amazon erstellten Docker-Container mit einer verwalteten PyTorch Umgebung nutzen, sodass Sie keinen eigenen Container mitbringen müssen. Das folgende Codebeispiel zeigt, wie Sie den verwenden können`PyTorchProcessor`, um Ihren Verarbeitungsjob mithilfe eines von AI bereitgestellten und verwalteten Docker-Images auszuführen. SageMaker Beachten Sie, dass Sie bei der Ausführung des Jobs ein Verzeichnis mit Ihren Skripten und Abhängigkeiten im `source_dir` Argument angeben können und dass sich in Ihrem `source_dir` Verzeichnis eine `requirements.txt` Datei befinden kann, die die Abhängigkeiten für Ihre Verarbeitungsskripte angibt. SageMaker Bei der Verarbeitung werden die Abhängigkeiten für Sie `requirements.txt` im Container installiert. Die von SageMaker AI unterstützten PyTorch Versionen finden Sie in den verfügbaren [Deep Learning-Container-Images](https://github.com/aws/deep-learning-containers/blob/master/available_images.md). ``` from sagemaker.pytorch.processing import PyTorchProcessor from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker import get_execution_role #Initialize the PyTorchProcessor pytorch_processor = PyTorchProcessor( framework_version='1.8', role=get_execution_role(), instance_type='ml.m5.xlarge', instance_count=1, base_job_name='frameworkprocessor-PT' ) #Run the processing job pytorch_processor.run( code='processing-script.py', source_dir='scripts', inputs=[ ProcessingInput( input_name='data', source=f's3://{BUCKET}/{S3_INPUT_PATH}', destination='/opt/ml/processing/input' ) ], outputs=[ ProcessingOutput(output_name='data_structured', source='/opt/ml/processing/tmp/data_structured', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'), ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'), ProcessingOutput(output_name='validation', source='/opt/ml/processing/output/val', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'), ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'), ProcessingOutput(output_name='logs', source='/opt/ml/processing/logs', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}') ] ) ``` Wenn Sie eine `requirements.txt` Datei haben, sollte es sich um eine Liste von Bibliotheken handeln, die Sie im Container installieren möchten. Der Pfad für `source_dir` kann ein relativer, absoluter oder Amazon-S3-URI-Pfad sein. Wenn Sie jedoch einen Amazon-S3-URI verwenden, muss dieser auf eine Datei tar.gz verweisen. Sie können mehrere Skripte in dem Verzeichnis haben, das Sie für `source_dir` angeben. Weitere Informationen zu der `PyTorchProcessor` Klasse finden Sie unter [PyTorch Estimator](https://sagemaker.readthedocs.io/en/stable/frameworks/pytorch/sagemaker.pytorch.html) im *Amazon SageMaker Python SDK*. # TensorFlow Framework-Prozessor TensorFlow ist eine Open-Source-Bibliothek für maschinelles Lernen und künstliche Intelligenz. Das `TensorFlowProcessor` im Amazon SageMaker Python SDK enthaltene SDK bietet Ihnen die Möglichkeit, Verarbeitungsaufträge mit TensorFlow Skripten auszuführen. Wenn Sie den verwenden`TensorFlowProcessor`, können Sie einen von Amazon erstellten Docker-Container mit einer verwalteten TensorFlow Umgebung nutzen, sodass Sie keinen eigenen Container mitbringen müssen. Das folgende Codebeispiel zeigt, wie Sie den verwenden können`TensorFlowProcessor`, um Ihren Verarbeitungsjob mithilfe eines von AI bereitgestellten und verwalteten Docker-Images auszuführen. SageMaker Beachten Sie, dass Sie bei der Ausführung des Jobs ein Verzeichnis mit Ihren Skripten und Abhängigkeiten im `source_dir` Argument angeben können und dass sich in Ihrem `source_dir` Verzeichnis eine `requirements.txt` Datei befinden kann, die die Abhängigkeiten für Ihre Verarbeitungsskripte angibt. SageMaker Bei der Verarbeitung werden die Abhängigkeiten für Sie `requirements.txt` im Container installiert. ``` from sagemaker.tensorflow import TensorFlowProcessor from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker import get_execution_role #Initialize the TensorFlowProcessor tp = TensorFlowProcessor( framework_version='2.3', role=get_execution_role(), instance_type='ml.m5.xlarge', instance_count=1, base_job_name='frameworkprocessor-TF', py_version='py37' ) #Run the processing job tp.run( code='processing-script.py', source_dir='scripts', inputs=[ ProcessingInput( input_name='data', source=f's3://{BUCKET}/{S3_INPUT_PATH}', destination='/opt/ml/processing/input/data' ), ProcessingInput( input_name='model', source=f's3://{BUCKET}/{S3_PATH_TO_MODEL}', destination='/opt/ml/processing/input/model' ) ], outputs=[ ProcessingOutput( output_name='predictions', source='/opt/ml/processing/output', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}' ) ] ) ``` Wenn Sie eine `requirements.txt` Datei haben, sollte es sich um eine Liste von Bibliotheken handeln, die Sie im Container installieren möchten. Der Pfad für `source_dir` kann ein relativer, absoluter oder Amazon-S3-URI-Pfad sein. Wenn Sie jedoch einen Amazon-S3-URI verwenden, muss dieser auf eine Datei tar.gz verweisen. Sie können mehrere Skripte in dem Verzeichnis haben, das Sie für `source_dir` angeben. Weitere Informationen zu der `TensorFlowProcessor` Klasse finden Sie unter [TensorFlow Estimator](https://sagemaker.readthedocs.io/en/stable/frameworks/tensorflow/sagemaker.tensorflow.html#tensorflow-estimator) im *Amazon SageMaker Python SDK*. # XGBoost Framework-Prozessor XGBoost ist ein Open-Source-Framework für maschinelles Lernen. Das `XGBoostProcessor` im Amazon SageMaker Python SDK enthaltene SDK bietet Ihnen die Möglichkeit, Verarbeitungsaufträge mit XGBoost Skripten auszuführen. Wenn Sie den XGBoost Prozessor verwenden, können Sie einen von Amazon erstellten Docker-Container mit einer verwalteten XGBoost Umgebung nutzen, sodass Sie keinen eigenen Container mitbringen müssen. Das folgende Codebeispiel zeigt, wie Sie den verwenden können`XGBoostProcessor`, um Ihren Verarbeitungsjob mithilfe eines von AI bereitgestellten und verwalteten Docker-Images auszuführen. SageMaker Beachten Sie, dass Sie bei der Ausführung des Jobs ein Verzeichnis mit Ihren Skripten und Abhängigkeiten im `source_dir` Argument angeben können und dass sich in Ihrem `source_dir` Verzeichnis eine `requirements.txt` Datei befinden kann, die die Abhängigkeiten für Ihre Verarbeitungsskripte angibt. SageMaker Bei der Verarbeitung werden die Abhängigkeiten für Sie `requirements.txt` im Container installiert. ``` from sagemaker.xgboost import XGBoostProcessor from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker import get_execution_role #Initialize the XGBoostProcessor xgb = XGBoostProcessor( framework_version='1.2-2', role=get_execution_role(), instance_type='ml.m5.xlarge', instance_count=1, base_job_name='frameworkprocessor-XGB', ) #Run the processing job xgb.run( code='processing-script.py', source_dir='scripts', inputs=[ ProcessingInput( input_name='data', source=f's3://{BUCKET}/{S3_INPUT_PATH}', destination='/opt/ml/processing/input/data' ) ], outputs=[ ProcessingOutput( output_name='processed_data', source='/opt/ml/processing/output/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}' ) ] ) ``` Wenn Sie eine `requirements.txt` Datei haben, sollte es sich um eine Liste von Bibliotheken handeln, die Sie im Container installieren möchten. Der Pfad für `source_dir` kann ein relativer, absoluter oder Amazon-S3-URI-Pfad sein. Wenn Sie jedoch einen Amazon-S3-URI verwenden, muss dieser auf eine Datei tar.gz verweisen. Sie können mehrere Skripte in dem Verzeichnis haben, das Sie für `source_dir` angeben. Weitere Informationen zu der `XGBoostProcessor` Klasse finden Sie unter [XGBoost Estimator](https://sagemaker.readthedocs.io/en/stable/frameworks/xgboost/xgboost.html) im *Amazon SageMaker Python SDK*.