Exemple de code utilisé HuggingFaceProcessor dans le SDK Amazon SageMaker Python

Hugging Face est un fournisseur open source de modèles de traitement du langage naturel (NLP). Le HuggingFaceProcessor SDK SageMaker Python d'Amazon vous permet d'exécuter des tâches de traitement à l'aide de scripts Hugging Face. Lorsque vous utilisez leHuggingFaceProcessor, vous pouvez tirer parti d'un conteneur Amazon-built Docker avec un environnement Hugging Face géré afin de ne pas avoir à apporter votre propre conteneur.

L'exemple de code suivant montre comment exécuter votre tâche de traitement à l'aide d'une image Docker fournie et gérée par SageMaker AI. Notez que lorsque vous exécutez la tâche, vous pouvez spécifier un répertoire contenant vos scripts et vos dépendances dans l'source_dirargument, et vous pouvez avoir un requirements.txt fichier situé dans votre source_dir répertoire qui spécifie les dépendances de vos scripts de traitement. SageMaker Le traitement installe les dépendances requirements.txt dans le conteneur pour vous.

from sagemaker.core.resources import ProcessingJob
from sagemaker.core.helper.session_helper import get_execution_role

# Create a processing job with a Hugging Face container
processing_job = ProcessingJob.create(
    processing_job_name='frameworkprocessor-hf',
    role_arn=get_execution_role(),
    app_specification={
        "image_uri": "huggingface-processing-image-uri",
        "container_entrypoint": ["python3", "/opt/ml/processing/input/code/processing-script.py"]
    },
    processing_resources={
        "cluster_config": {
            "instance_count": 1,
            "instance_type": "ml.g4dn.xlarge",
            "volume_size_in_gb": 30
        }
    },
    processing_inputs=[
        {
            "input_name": "data",
            "s3_input": {
                "s3_uri": f"s3://{{BUCKET}}/{{S3_INPUT_PATH}}",
                "local_path": "/opt/ml/processing/input/data/",
                "s3_data_type": "S3Prefix",
                "s3_input_mode": "File"
            }
        },
        {
            "input_name": "code",
            "s3_input": {
                "s3_uri": "s3://path/to/scripts/",
                "local_path": "/opt/ml/processing/input/code",
                "s3_data_type": "S3Prefix",
                "s3_input_mode": "File"
            }
        }
    ],
    processing_output_config={
        "outputs": [
            {"output_name": "train", "s3_output": {"s3_uri": f"s3://{{BUCKET}}/{{S3_OUTPUT_PATH}}", "local_path": "/opt/ml/processing/output/train/", "s3_upload_mode": "EndOfJob"}},
            {"output_name": "test", "s3_output": {"s3_uri": f"s3://{{BUCKET}}/{{S3_OUTPUT_PATH}}", "local_path": "/opt/ml/processing/output/test/", "s3_upload_mode": "EndOfJob"}},
            {"output_name": "val", "s3_output": {"s3_uri": f"s3://{{BUCKET}}/{{S3_OUTPUT_PATH}}", "local_path": "/opt/ml/processing/output/val/", "s3_upload_mode": "EndOfJob"}}
        ]
    }
)

Si vous avez un fichier requirements.txt, il doit s'agir d'une liste de bibliothèques que vous souhaitez installer dans le conteneur. Le chemin d'accès pour source_dir peut être un chemin d'accès relatif, absolu ou par URI Amazon S3. Toutefois, si vous utilisez un chemin d'accès par URI Amazon S3, celui-ci doit pointer vers un fichier tar.gz. Vous pouvez disposer de plusieurs scripts dans le répertoire que vous spécifiez pour source_dir. Pour en savoir plus sur le HuggingFaceProcessor cours, consultez Hugging Face Estimator dans le SDK Amazon SageMaker AI Python.