Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Pemrosesan Data dengan Prosesor Kerangka
A `FrameworkProcessor` dapat menjalankan tugas Pemrosesan dengan kerangka kerja pembelajaran mesin tertentu, memberi Anda wadah yang SageMaker dikelola Amazon AI untuk kerangka kerja pembelajaran mesin mana pun yang Anda pilih. `FrameworkProcessor`menyediakan wadah premade untuk kerangka kerja pembelajaran mesin berikut: Hugging Face MXNet,,, PyTorch, TensorFlow dan. XGBoost
`FrameworkProcessor`Kelas ini juga memberi Anda kustomisasi atas konfigurasi kontainer. `FrameworkProcessor`Kelas mendukung menentukan direktori sumber `source_dir` untuk skrip pemrosesan dan dependensi Anda. Dengan kemampuan ini, Anda dapat memberikan akses prosesor ke beberapa skrip dalam direktori, bukan hanya menentukan satu skrip. `FrameworkProcessor`juga mendukung termasuk `requirements.txt` file di `source_dir` untuk menyesuaikan pustaka Python untuk diinstal dalam wadah.
Untuk informasi lebih lanjut tentang `FrameworkProcessor` kelas dan metode serta parameternya, lihat [FrameworkProcessor](https://sagemaker.readthedocs.io/en/stable/api/training/processing.html#sagemaker.processing.FrameworkProcessor)di *Amazon SageMaker AI Python* SDK.
Untuk melihat contoh penggunaan `FrameworkProcessor` untuk setiap kerangka kerja pembelajaran mesin yang didukung, lihat topik berikut.
**Topics**
+ [Contoh kode yang digunakan HuggingFaceProcessor di Amazon SageMaker Python SDK](processing-job-frameworks-hugging-face.md)
+ [MXNet Prosesor Kerangka](processing-job-frameworks-mxnet.md)
+ [PyTorch Prosesor Kerangka](processing-job-frameworks-pytorch.md)
+ [TensorFlow Prosesor Kerangka](processing-job-frameworks-tensorflow.md)
+ [XGBoost Prosesor Kerangka](processing-job-frameworks-xgboost.md)
# Contoh kode yang digunakan HuggingFaceProcessor di Amazon SageMaker Python SDK
Hugging Face adalah penyedia open source model natural language processing (NLP). SDK SageMaker Python Amazon `HuggingFaceProcessor` di Amazon memberi Anda kemampuan untuk menjalankan pekerjaan pemrosesan dengan skrip Hugging Face. Saat Anda menggunakannya`HuggingFaceProcessor`, Anda dapat memanfaatkan wadah Docker buatan Amazon dengan lingkungan Hugging Face yang dikelola sehingga Anda tidak perlu membawa wadah sendiri.
Contoh kode berikut menunjukkan bagaimana Anda dapat menggunakan `HuggingFaceProcessor` untuk menjalankan pekerjaan Processing Anda menggunakan image Docker yang disediakan dan dikelola oleh SageMaker AI. Perhatikan bahwa ketika Anda menjalankan pekerjaan, Anda dapat menentukan direktori yang berisi skrip dan dependensi Anda dalam `source_dir` argumen, dan Anda dapat memiliki `requirements.txt` file yang terletak di dalam `source_dir` direktori Anda yang menentukan dependensi untuk skrip pemrosesan Anda. SageMaker Pemrosesan menginstal dependensi di `requirements.txt` dalam wadah untuk Anda.
```
from sagemaker.huggingface import HuggingFaceProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role
#Initialize the HuggingFaceProcessor
hfp = HuggingFaceProcessor(
role=get_execution_role(),
instance_count=1,
instance_type='ml.g4dn.xlarge',
transformers_version='4.4.2',
pytorch_version='1.6.0',
base_job_name='frameworkprocessor-hf'
)
#Run the processing job
hfp.run(
code='processing-script.py',
source_dir='scripts',
inputs=[
ProcessingInput(
input_name='data',
source=f's3://{BUCKET}/{S3_INPUT_PATH}',
destination='/opt/ml/processing/input/data/'
)
],
outputs=[
ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
ProcessingOutput(output_name='val', source='/opt/ml/processing/output/val/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
]
)
```
Jika Anda memiliki `requirements.txt` file, itu harus berupa daftar pustaka yang ingin Anda instal di wadah. Jalur untuk `source_dir` dapat berupa jalur URI relatif, absolut, atau Amazon S3. Namun, jika Anda menggunakan URI Amazon S3, maka itu harus mengarah ke file tar.gz. Anda dapat memiliki beberapa skrip di direktori yang Anda tentukan`source_dir`. Untuk mempelajari selengkapnya tentang `HuggingFaceProcessor` kelas, lihat [Hugging Face](https://sagemaker.readthedocs.io/en/stable/frameworks/huggingface/sagemaker.huggingface.html) Estimator di *Amazon SageMaker AI Python* SDK.
# MXNet Prosesor Kerangka
Apache MXNet adalah kerangka pembelajaran mendalam open-source yang biasa digunakan untuk pelatihan dan penyebaran jaringan saraf. SDK SageMaker Python Amazon `MXNetProcessor` di Amazon memberi Anda kemampuan untuk menjalankan pekerjaan pemrosesan dengan skrip. MXNet Saat Anda menggunakan`MXNetProcessor`, Anda dapat memanfaatkan wadah Docker buatan Amazon dengan MXNet lingkungan terkelola sehingga Anda tidak perlu membawa wadah sendiri.
Contoh kode berikut menunjukkan bagaimana Anda dapat menggunakan `MXNetProcessor` untuk menjalankan pekerjaan Processing Anda menggunakan image Docker yang disediakan dan dikelola oleh SageMaker AI. Perhatikan bahwa ketika Anda menjalankan pekerjaan, Anda dapat menentukan direktori yang berisi skrip dan dependensi Anda dalam `source_dir` argumen, dan Anda dapat memiliki `requirements.txt` file yang terletak di dalam `source_dir` direktori Anda yang menentukan dependensi untuk skrip pemrosesan Anda. SageMaker Pemrosesan menginstal dependensi di `requirements.txt` dalam wadah untuk Anda.
```
from sagemaker.mxnet import MXNetProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role
#Initialize the MXNetProcessor
mxp = MXNetProcessor(
framework_version='1.8.0',
py_version='py37',
role=get_execution_role(),
instance_count=1,
instance_type='ml.c5.xlarge',
base_job_name='frameworkprocessor-mxnet'
)
#Run the processing job
mxp.run(
code='processing-script.py',
source_dir='scripts',
inputs=[
ProcessingInput(
input_name='data',
source=f's3://{BUCKET}/{S3_INPUT_PATH}',
destination='/opt/ml/processing/input/data/'
)
],
outputs=[
ProcessingOutput(
output_name='processed_data',
source='/opt/ml/processing/output/',
destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'
)
]
)
```
Jika Anda memiliki `requirements.txt` file, itu harus berupa daftar pustaka yang ingin Anda instal di wadah. Jalur untuk `source_dir` dapat berupa jalur URI relatif, absolut, atau Amazon S3. Namun, jika Anda menggunakan URI Amazon S3, maka itu harus mengarah ke file tar.gz. Anda dapat memiliki beberapa skrip di direktori yang Anda tentukan`source_dir`. Untuk mempelajari selengkapnya tentang `MXNetProcessor` kelas, lihat [MXNet Estimator](https://sagemaker.readthedocs.io/en/stable/frameworks/mxnet/sagemaker.mxnet.html#mxnet-estimator) di *Amazon SageMaker Python SDK*.
# PyTorch Prosesor Kerangka
PyTorch adalah kerangka pembelajaran mesin sumber terbuka. SDK SageMaker Python Amazon `PyTorchProcessor` di Amazon memberi Anda kemampuan untuk menjalankan pekerjaan pemrosesan dengan skrip. PyTorch Saat Anda menggunakan`PyTorchProcessor`, Anda dapat memanfaatkan wadah Docker buatan Amazon dengan PyTorch lingkungan terkelola sehingga Anda tidak perlu membawa wadah sendiri.
Contoh kode berikut menunjukkan bagaimana Anda dapat menggunakan `PyTorchProcessor` untuk menjalankan pekerjaan Processing Anda menggunakan image Docker yang disediakan dan dikelola oleh SageMaker AI. Perhatikan bahwa ketika Anda menjalankan pekerjaan, Anda dapat menentukan direktori yang berisi skrip dan dependensi Anda dalam `source_dir` argumen, dan Anda dapat memiliki `requirements.txt` file yang terletak di dalam `source_dir` direktori Anda yang menentukan dependensi untuk skrip pemrosesan Anda. SageMaker Pemrosesan menginstal dependensi di `requirements.txt` dalam wadah untuk Anda.
Untuk PyTorch versi yang didukung oleh SageMaker AI, lihat [gambar Deep Learning Container](https://github.com/aws/deep-learning-containers/blob/master/available_images.md) yang tersedia.
```
from sagemaker.pytorch.processing import PyTorchProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role
#Initialize the PyTorchProcessor
pytorch_processor = PyTorchProcessor(
framework_version='1.8',
role=get_execution_role(),
instance_type='ml.m5.xlarge',
instance_count=1,
base_job_name='frameworkprocessor-PT'
)
#Run the processing job
pytorch_processor.run(
code='processing-script.py',
source_dir='scripts',
inputs=[
ProcessingInput(
input_name='data',
source=f's3://{BUCKET}/{S3_INPUT_PATH}',
destination='/opt/ml/processing/input'
)
],
outputs=[
ProcessingOutput(output_name='data_structured', source='/opt/ml/processing/tmp/data_structured', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
ProcessingOutput(output_name='validation', source='/opt/ml/processing/output/val', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
ProcessingOutput(output_name='logs', source='/opt/ml/processing/logs', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
]
)
```
Jika Anda memiliki `requirements.txt` file, itu harus berupa daftar pustaka yang ingin Anda instal di wadah. Jalur untuk `source_dir` dapat berupa jalur URI relatif, absolut, atau Amazon S3. Namun, jika Anda menggunakan URI Amazon S3, maka itu harus mengarah ke file tar.gz. Anda dapat memiliki beberapa skrip di direktori yang Anda tentukan`source_dir`. Untuk mempelajari selengkapnya tentang `PyTorchProcessor` kelas, lihat [PyTorch Estimator](https://sagemaker.readthedocs.io/en/stable/frameworks/pytorch/sagemaker.pytorch.html) di *Amazon SageMaker Python SDK*.
# TensorFlow Prosesor Kerangka
TensorFlow adalah pembelajaran mesin sumber terbuka dan perpustakaan kecerdasan buatan. SDK SageMaker Python Amazon `TensorFlowProcessor` di Amazon memberi Anda kemampuan untuk menjalankan pekerjaan pemrosesan dengan skrip. TensorFlow Saat Anda menggunakan`TensorFlowProcessor`, Anda dapat memanfaatkan wadah Docker buatan Amazon dengan TensorFlow lingkungan terkelola sehingga Anda tidak perlu membawa wadah sendiri.
Contoh kode berikut menunjukkan bagaimana Anda dapat menggunakan `TensorFlowProcessor` untuk menjalankan pekerjaan Processing Anda menggunakan image Docker yang disediakan dan dikelola oleh SageMaker AI. Perhatikan bahwa ketika Anda menjalankan pekerjaan, Anda dapat menentukan direktori yang berisi skrip dan dependensi Anda dalam `source_dir` argumen, dan Anda dapat memiliki `requirements.txt` file yang terletak di dalam `source_dir` direktori Anda yang menentukan dependensi untuk skrip pemrosesan Anda. SageMaker Pemrosesan menginstal dependensi di `requirements.txt` dalam wadah untuk Anda.
```
from sagemaker.tensorflow import TensorFlowProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role
#Initialize the TensorFlowProcessor
tp = TensorFlowProcessor(
framework_version='2.3',
role=get_execution_role(),
instance_type='ml.m5.xlarge',
instance_count=1,
base_job_name='frameworkprocessor-TF',
py_version='py37'
)
#Run the processing job
tp.run(
code='processing-script.py',
source_dir='scripts',
inputs=[
ProcessingInput(
input_name='data',
source=f's3://{BUCKET}/{S3_INPUT_PATH}',
destination='/opt/ml/processing/input/data'
),
ProcessingInput(
input_name='model',
source=f's3://{BUCKET}/{S3_PATH_TO_MODEL}',
destination='/opt/ml/processing/input/model'
)
],
outputs=[
ProcessingOutput(
output_name='predictions',
source='/opt/ml/processing/output',
destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'
)
]
)
```
Jika Anda memiliki `requirements.txt` file, itu harus berupa daftar pustaka yang ingin Anda instal di wadah. Jalur untuk `source_dir` dapat berupa jalur URI relatif, absolut, atau Amazon S3. Namun, jika Anda menggunakan URI Amazon S3, maka itu harus mengarah ke file tar.gz. Anda dapat memiliki beberapa skrip di direktori yang Anda tentukan`source_dir`. Untuk mempelajari selengkapnya tentang `TensorFlowProcessor` kelas, lihat [TensorFlow Estimator](https://sagemaker.readthedocs.io/en/stable/frameworks/tensorflow/sagemaker.tensorflow.html#tensorflow-estimator) di *Amazon SageMaker Python SDK*.
# XGBoost Prosesor Kerangka
XGBoost adalah kerangka pembelajaran mesin sumber terbuka. SDK SageMaker Python Amazon `XGBoostProcessor` di Amazon memberi Anda kemampuan untuk menjalankan pekerjaan pemrosesan dengan skrip. XGBoost Saat Anda menggunakan XGBoost Prosesor, Anda dapat memanfaatkan wadah Docker buatan Amazon dengan XGBoost lingkungan terkelola sehingga Anda tidak perlu membawa kontainer sendiri.
Contoh kode berikut menunjukkan bagaimana Anda dapat menggunakan `XGBoostProcessor` untuk menjalankan pekerjaan Processing Anda menggunakan image Docker yang disediakan dan dikelola oleh SageMaker AI. Perhatikan bahwa ketika Anda menjalankan pekerjaan, Anda dapat menentukan direktori yang berisi skrip dan dependensi Anda dalam `source_dir` argumen, dan Anda dapat memiliki `requirements.txt` file yang terletak di dalam `source_dir` direktori Anda yang menentukan dependensi untuk skrip pemrosesan Anda. SageMaker Pemrosesan menginstal dependensi di `requirements.txt` dalam wadah untuk Anda.
```
from sagemaker.xgboost import XGBoostProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role
#Initialize the XGBoostProcessor
xgb = XGBoostProcessor(
framework_version='1.2-2',
role=get_execution_role(),
instance_type='ml.m5.xlarge',
instance_count=1,
base_job_name='frameworkprocessor-XGB',
)
#Run the processing job
xgb.run(
code='processing-script.py',
source_dir='scripts',
inputs=[
ProcessingInput(
input_name='data',
source=f's3://{BUCKET}/{S3_INPUT_PATH}',
destination='/opt/ml/processing/input/data'
)
],
outputs=[
ProcessingOutput(
output_name='processed_data',
source='/opt/ml/processing/output/',
destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'
)
]
)
```
Jika Anda memiliki `requirements.txt` file, itu harus berupa daftar pustaka yang ingin Anda instal di wadah. Jalur untuk `source_dir` dapat berupa jalur URI relatif, absolut, atau Amazon S3. Namun, jika Anda menggunakan URI Amazon S3, maka itu harus mengarah ke file tar.gz. Anda dapat memiliki beberapa skrip di direktori yang Anda tentukan`source_dir`. Untuk mempelajari selengkapnya tentang `XGBoostProcessor` kelas, lihat [XGBoost Estimator](https://sagemaker.readthedocs.io/en/stable/frameworks/xgboost/xgboost.html) di *Amazon SageMaker Python SDK*.