Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés. # Procesamiento de datos con procesadores Framework A `FrameworkProcessor` puede ejecutar trabajos de procesamiento con un marco de aprendizaje automático específico, lo que le proporciona un contenedor SageMaker administrado por Amazon AI para cualquier marco de aprendizaje automático que elija. `FrameworkProcessor`proporciona contenedores prediseñados para los siguientes marcos de aprendizaje automático: Hugging Face,, MXNet PyTorch, TensorFlow y. XGBoost La `FrameworkProcessor` clase también ofrece la posibilidad de personalizar la configuración del contenedor. La clase `FrameworkProcessor` admite la especificación de un directorio fuente `source_dir` para los scripts y las dependencias de procesamiento. Con esta capacidad, puede dar al procesador acceso a varios scripts de un directorio en lugar de especificar solo un script. `FrameworkProcessor` también admite la inclusión de un archivo `requirements.txt` en el `source_dir` para personalizar las bibliotecas de Python para instalarlas en el contenedor. Para obtener más información sobre la `FrameworkProcessor` clase y sus métodos y parámetros, consulte [FrameworkProcessor](https://sagemaker.readthedocs.io/en/stable/api/training/processing.html#sagemaker.processing.FrameworkProcessor)el *SDK de Python de Amazon SageMaker AI*. Para ver ejemplos del uso de un `FrameworkProcessor` para cada uno de los marcos de machine learning compatibles, consulte los siguientes temas. **Topics** + [Ejemplo de código utilizado HuggingFaceProcessor en el SDK de Amazon SageMaker Python](processing-job-frameworks-hugging-face.md) + [MXNet Procesador Framework](processing-job-frameworks-mxnet.md) + [PyTorch Procesador Framework](processing-job-frameworks-pytorch.md) + [TensorFlow Procesador Framework](processing-job-frameworks-tensorflow.md) + [XGBoost Procesador Framework](processing-job-frameworks-xgboost.md) # Ejemplo de código utilizado HuggingFaceProcessor en el SDK de Amazon SageMaker Python Hugging Face es un proveedor de código abierto de modelos de procesamiento de lenguaje natural (NLP). El SDK `HuggingFaceProcessor` de Amazon SageMaker Python le permite ejecutar trabajos de procesamiento con scripts de Hugging Face. Cuando usa el `HuggingFaceProcessor`, puede aprovechar un contenedor de Docker creado por Amazon con un entorno Hugging Face gestionado para no tener que traer tu propio contenedor. El siguiente ejemplo de código muestra cómo puede usarlo `HuggingFaceProcessor` para ejecutar su trabajo de procesamiento con una imagen de Docker proporcionada y mantenida por SageMaker AI. Tenga en cuenta que, al ejecutar el trabajo, puede especificar un directorio que contenga sus scripts y dependencias en el `source_dir` argumento, y puede tener un `requirements.txt` archivo ubicado dentro de su `source_dir` directorio que especifique las dependencias de sus scripts de procesamiento. SageMaker El procesamiento instala automáticamente las dependencias `requirements.txt` en el contenedor. ``` from sagemaker.huggingface import HuggingFaceProcessor from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker import get_execution_role #Initialize the HuggingFaceProcessor hfp = HuggingFaceProcessor( role=get_execution_role(), instance_count=1, instance_type='ml.g4dn.xlarge', transformers_version='4.4.2', pytorch_version='1.6.0', base_job_name='frameworkprocessor-hf' ) #Run the processing job hfp.run( code='processing-script.py', source_dir='scripts', inputs=[ ProcessingInput( input_name='data', source=f's3://{BUCKET}/{S3_INPUT_PATH}', destination='/opt/ml/processing/input/data/' ) ], outputs=[ ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'), ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'), ProcessingOutput(output_name='val', source='/opt/ml/processing/output/val/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}') ] ) ``` Si tiene un archivo `requirements.txt`, debería ser una lista de bibliotecas que desee instalar en el contenedor. La ruta para `source_dir` puede ser una ruta de URI relativa, absoluta o de Amazon S3. Sin embargo, si utiliza un URI de Amazon S3, debe apuntar a un archivo tar.gz. Puede tener varios scripts en el directorio que especifique para `source_dir`. Para obtener más información sobre la `HuggingFaceProcessor` clase, consulte [Hugging Face](https://sagemaker.readthedocs.io/en/stable/frameworks/huggingface/sagemaker.huggingface.html) Estimator en el SDK de Python de *Amazon SageMaker AI*. # MXNet Procesador Framework Apache MXNet es un marco de aprendizaje profundo de código abierto que se utiliza habitualmente para entrenar e implementar redes neuronales. El SDK `MXNetProcessor` de Amazon SageMaker Python le permite ejecutar trabajos de procesamiento con MXNet scripts. Al utilizar el`MXNetProcessor`, puede aprovechar un contenedor Docker creado por Amazon con un MXNet entorno gestionado para no tener que traer su propio contenedor. El siguiente ejemplo de código muestra cómo puede usarlo `MXNetProcessor` para ejecutar su trabajo de procesamiento con una imagen de Docker proporcionada y mantenida por AI. SageMaker Tenga en cuenta que, al ejecutar el trabajo, puede especificar un directorio que contenga sus scripts y dependencias en el `source_dir` argumento, y puede tener un `requirements.txt` archivo ubicado dentro de su `source_dir` directorio que especifique las dependencias de sus scripts de procesamiento. SageMaker El procesamiento instala automáticamente las dependencias `requirements.txt` en el contenedor. ``` from sagemaker.mxnet import MXNetProcessor from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker import get_execution_role #Initialize the MXNetProcessor mxp = MXNetProcessor( framework_version='1.8.0', py_version='py37', role=get_execution_role(), instance_count=1, instance_type='ml.c5.xlarge', base_job_name='frameworkprocessor-mxnet' ) #Run the processing job mxp.run( code='processing-script.py', source_dir='scripts', inputs=[ ProcessingInput( input_name='data', source=f's3://{BUCKET}/{S3_INPUT_PATH}', destination='/opt/ml/processing/input/data/' ) ], outputs=[ ProcessingOutput( output_name='processed_data', source='/opt/ml/processing/output/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}' ) ] ) ``` Si tiene un archivo `requirements.txt`, debería ser una lista de bibliotecas que desee instalar en el contenedor. La ruta para `source_dir` puede ser una ruta de URI relativa, absoluta o de Amazon S3. Sin embargo, si utiliza un URI de Amazon S3, debe apuntar a un archivo tar.gz. Puede tener varios scripts en el directorio que especifique para `source_dir`. Para obtener más información sobre la `MXNetProcessor` clase, consulte [MXNet Estimator](https://sagemaker.readthedocs.io/en/stable/frameworks/mxnet/sagemaker.mxnet.html#mxnet-estimator) en el SDK de Amazon * SageMaker Python*. # PyTorch Procesador Framework PyTorch es un marco de aprendizaje automático de código abierto. El SDK `PyTorchProcessor` de Amazon SageMaker Python le permite ejecutar trabajos de procesamiento con PyTorch scripts. Al utilizar el`PyTorchProcessor`, puede aprovechar un contenedor Docker creado por Amazon con un PyTorch entorno gestionado para no tener que traer su propio contenedor. El siguiente ejemplo de código muestra cómo puede usarlo `PyTorchProcessor` para ejecutar su trabajo de procesamiento con una imagen de Docker proporcionada y mantenida por AI. SageMaker Tenga en cuenta que, al ejecutar el trabajo, puede especificar un directorio que contenga sus scripts y dependencias en el `source_dir` argumento, y puede tener un `requirements.txt` archivo ubicado dentro de su `source_dir` directorio que especifique las dependencias de sus scripts de procesamiento. SageMaker El procesamiento instala automáticamente las dependencias `requirements.txt` en el contenedor. Para ver las PyTorch versiones compatibles con SageMaker AI, consulta las imágenes disponibles del [contenedor de aprendizaje profundo](https://github.com/aws/deep-learning-containers/blob/master/available_images.md). ``` from sagemaker.pytorch.processing import PyTorchProcessor from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker import get_execution_role #Initialize the PyTorchProcessor pytorch_processor = PyTorchProcessor( framework_version='1.8', role=get_execution_role(), instance_type='ml.m5.xlarge', instance_count=1, base_job_name='frameworkprocessor-PT' ) #Run the processing job pytorch_processor.run( code='processing-script.py', source_dir='scripts', inputs=[ ProcessingInput( input_name='data', source=f's3://{BUCKET}/{S3_INPUT_PATH}', destination='/opt/ml/processing/input' ) ], outputs=[ ProcessingOutput(output_name='data_structured', source='/opt/ml/processing/tmp/data_structured', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'), ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'), ProcessingOutput(output_name='validation', source='/opt/ml/processing/output/val', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'), ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'), ProcessingOutput(output_name='logs', source='/opt/ml/processing/logs', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}') ] ) ``` Si tiene un archivo `requirements.txt`, debería ser una lista de bibliotecas que desee instalar en el contenedor. La ruta para `source_dir` puede ser una ruta de URI relativa, absoluta o de Amazon S3. Sin embargo, si utiliza un URI de Amazon S3, debe apuntar a un archivo tar.gz. Puede tener varios scripts en el directorio que especifique para `source_dir`. Para obtener más información sobre la `PyTorchProcessor` clase, consulte [PyTorch Estimator](https://sagemaker.readthedocs.io/en/stable/frameworks/pytorch/sagemaker.pytorch.html) en el SDK de Amazon * SageMaker Python*. # TensorFlow Procesador Framework TensorFlow es una biblioteca de aprendizaje automático e inteligencia artificial de código abierto. El SDK `TensorFlowProcessor` de Amazon SageMaker Python le permite ejecutar trabajos de procesamiento con TensorFlow scripts. Al utilizar el`TensorFlowProcessor`, puede aprovechar un contenedor Docker creado por Amazon con un TensorFlow entorno gestionado para no tener que traer su propio contenedor. El siguiente ejemplo de código muestra cómo puede usarlo `TensorFlowProcessor` para ejecutar su trabajo de procesamiento con una imagen de Docker proporcionada y mantenida por AI. SageMaker Tenga en cuenta que, al ejecutar el trabajo, puede especificar un directorio que contenga sus scripts y dependencias en el `source_dir` argumento, y puede tener un `requirements.txt` archivo ubicado dentro de su `source_dir` directorio que especifique las dependencias de sus scripts de procesamiento. SageMaker El procesamiento instala automáticamente las dependencias `requirements.txt` en el contenedor. ``` from sagemaker.tensorflow import TensorFlowProcessor from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker import get_execution_role #Initialize the TensorFlowProcessor tp = TensorFlowProcessor( framework_version='2.3', role=get_execution_role(), instance_type='ml.m5.xlarge', instance_count=1, base_job_name='frameworkprocessor-TF', py_version='py37' ) #Run the processing job tp.run( code='processing-script.py', source_dir='scripts', inputs=[ ProcessingInput( input_name='data', source=f's3://{BUCKET}/{S3_INPUT_PATH}', destination='/opt/ml/processing/input/data' ), ProcessingInput( input_name='model', source=f's3://{BUCKET}/{S3_PATH_TO_MODEL}', destination='/opt/ml/processing/input/model' ) ], outputs=[ ProcessingOutput( output_name='predictions', source='/opt/ml/processing/output', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}' ) ] ) ``` Si tiene un archivo `requirements.txt`, debería ser una lista de bibliotecas que desee instalar en el contenedor. La ruta para `source_dir` puede ser una ruta de URI relativa, absoluta o de Amazon S3. Sin embargo, si utiliza un URI de Amazon S3, debe apuntar a un archivo tar.gz. Puede tener varios scripts en el directorio que especifique para `source_dir`. Para obtener más información sobre la `TensorFlowProcessor` clase, consulte [TensorFlow Estimator](https://sagemaker.readthedocs.io/en/stable/frameworks/tensorflow/sagemaker.tensorflow.html#tensorflow-estimator) en el SDK de Amazon * SageMaker Python*. # XGBoost Procesador Framework XGBoost es un marco de aprendizaje automático de código abierto. El SDK `XGBoostProcessor` de Amazon SageMaker Python le permite ejecutar trabajos de procesamiento con XGBoost scripts. Cuando utiliza el XGBoost procesador, puede aprovechar un contenedor Docker creado por Amazon con un XGBoost entorno gestionado para no tener que traer su propio contenedor. El siguiente ejemplo de código muestra cómo puede usarlo `XGBoostProcessor` para ejecutar su trabajo de procesamiento con una imagen de Docker proporcionada y mantenida por AI. SageMaker Tenga en cuenta que, al ejecutar el trabajo, puede especificar un directorio que contenga sus scripts y dependencias en el `source_dir` argumento, y puede tener un `requirements.txt` archivo ubicado dentro de su `source_dir` directorio que especifique las dependencias de sus scripts de procesamiento. SageMaker El procesamiento instala automáticamente las dependencias `requirements.txt` en el contenedor. ``` from sagemaker.xgboost import XGBoostProcessor from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker import get_execution_role #Initialize the XGBoostProcessor xgb = XGBoostProcessor( framework_version='1.2-2', role=get_execution_role(), instance_type='ml.m5.xlarge', instance_count=1, base_job_name='frameworkprocessor-XGB', ) #Run the processing job xgb.run( code='processing-script.py', source_dir='scripts', inputs=[ ProcessingInput( input_name='data', source=f's3://{BUCKET}/{S3_INPUT_PATH}', destination='/opt/ml/processing/input/data' ) ], outputs=[ ProcessingOutput( output_name='processed_data', source='/opt/ml/processing/output/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}' ) ] ) ``` Si tiene un archivo `requirements.txt`, debería ser una lista de bibliotecas que desee instalar en el contenedor. La ruta para `source_dir` puede ser una ruta de URI relativa, absoluta o de Amazon S3. Sin embargo, si utiliza un URI de Amazon S3, debe apuntar a un archivo tar.gz. Puede tener varios scripts en el directorio que especifique para `source_dir`. Para obtener más información sobre la `XGBoostProcessor` clase, consulte [XGBoost Estimator](https://sagemaker.readthedocs.io/en/stable/frameworks/xgboost/xgboost.html) en el SDK de Amazon * SageMaker Python*.