Esempio di codice che utilizza HuggingFaceProcessor in Amazon SageMaker Python SDK

Hugging Face è un fornitore open source di modelli di elaborazione del linguaggio naturale (NLP). Il HuggingFaceProcessor in Amazon SageMaker Python SDK offre la possibilità di eseguire processi di elaborazione con script Hugging Face. Quando utilizzi HuggingFaceProcessor, puoi sfruttare un container Docker creato da Amazon con un ambiente Hugging Face gestito in modo da non dover portare il tuo container.

Il seguente esempio di codice mostra come è possibile utilizzare HuggingFaceProcessor per eseguire un processo Processing utilizzando un’immagine Docker fornita e gestita da SageMaker AI. Si noti che quando si esegue il processo, è possibile specificare una directory contenente gli script e le dipendenze nell'argomento source_dir e d è possibile avere un file requirements.txt all'interno della directory source_dir che specifica le dipendenze per gli script di elaborazione. Elaborazione SageMaker installa le dipendenze in requirements.txt nel container per te.

from sagemaker.huggingface import HuggingFaceProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the HuggingFaceProcessor
hfp = HuggingFaceProcessor(
    role=get_execution_role(), 
    instance_count=1,
    instance_type='ml.g4dn.xlarge',
    transformers_version='4.4.2',
    pytorch_version='1.6.0', 
    base_job_name='frameworkprocessor-hf'
)

#Run the processing job
hfp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data/'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='val', source='/opt/ml/processing/output/val/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)

Se hai un file requirements.txt, dovrebbe essere un elenco di librerie che desideri installare nel container. Il percorso per source_dir può essere un percorso URI relativo, assoluto o Amazon S3. Tuttavia, se utilizzi un URI Amazon S3, deve puntare a un file tar.gz. Puoi avere più script nella directory specificata per source_dir. Per ulteriori informazioni sulla classe HuggingFaceProcessor, consulta Hugging Face Estimator in Amazon SageMaker AI Python SDK.