Ejemplo de código utilizado HuggingFaceProcessor en el SDK de Amazon SageMaker Python

Hugging Face es un proveedor de código abierto de modelos de procesamiento de lenguaje natural (NLP). El SDK HuggingFaceProcessor de Amazon SageMaker Python le permite ejecutar trabajos de procesamiento con scripts de Hugging Face. Cuando usa el HuggingFaceProcessor, puede aprovechar un contenedor de Docker creado por Amazon con un entorno Hugging Face gestionado para no tener que traer tu propio contenedor.

El siguiente ejemplo de código muestra cómo puede usarlo HuggingFaceProcessor para ejecutar su trabajo de procesamiento con una imagen de Docker proporcionada y mantenida por SageMaker AI. Tenga en cuenta que, al ejecutar el trabajo, puede especificar un directorio que contenga sus scripts y dependencias en el source_dir argumento, y puede tener un requirements.txt archivo ubicado dentro de su source_dir directorio que especifique las dependencias de sus scripts de procesamiento. SageMaker El procesamiento instala automáticamente las dependencias requirements.txt en el contenedor.

from sagemaker.huggingface import HuggingFaceProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the HuggingFaceProcessor
hfp = HuggingFaceProcessor(
    role=get_execution_role(), 
    instance_count=1,
    instance_type='ml.g4dn.xlarge',
    transformers_version='4.4.2',
    pytorch_version='1.6.0', 
    base_job_name='frameworkprocessor-hf'
)

#Run the processing job
hfp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data/'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='val', source='/opt/ml/processing/output/val/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)

Si tiene un archivo requirements.txt, debería ser una lista de bibliotecas que desee instalar en el contenedor. La ruta para source_dir puede ser una ruta de URI relativa, absoluta o de Amazon S3. Sin embargo, si utiliza un URI de Amazon S3, debe apuntar a un archivo tar.gz. Puede tener varios scripts en el directorio que especifique para source_dir. Para obtener más información sobre la HuggingFaceProcessor clase, consulte Hugging Face Estimator en el SDK de Python de Amazon SageMaker AI.