Codebeispiel mit HuggingFaceProcessor im Amazon SageMaker Python SDK

Hugging Face ist ein Open-Source-Anbieter von Modellen zur natürlichen Sprachverarbeitung (NLP). Das HuggingFaceProcessor Python-SDK von Amazon SageMaker bietet Ihnen die Möglichkeit, Verarbeitungsaufträge mit Hugging Face-Skripten auszuführen. Wenn Sie den HuggingFaceProcessor verwenden, können Sie einen von Amazon erstellten Docker-Container mit einer verwalteten Hugging Face-Umgebung nutzen, sodass Sie keinen eigenen Container mitbringen müssen.

Das folgende Codebeispiel zeigt, wie Sie HuggingFaceProcessor verwenden können, um Ihren Processing-Job unter Verwendung eines von SageMaker AI bereitgestellten und gepflegten Docker-Images auszuführen. Beachten Sie, dass Sie bei der Ausführung des Jobs ein Verzeichnis mit Ihren Skripten und Abhängigkeiten im source_dir-Argument angeben können und dass Sie eine requirements.txt Datei in Ihrem source_dir-Verzeichnis haben können, die die Abhängigkeiten für Ihr(e) Verarbeitungsskript(e) spezifiziert. SageMaker Processing installiert die Abhängigkeiten für Sie im requirements.txt im Container.

from sagemaker.huggingface import HuggingFaceProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the HuggingFaceProcessor
hfp = HuggingFaceProcessor(
    role=get_execution_role(), 
    instance_count=1,
    instance_type='ml.g4dn.xlarge',
    transformers_version='4.4.2',
    pytorch_version='1.6.0', 
    base_job_name='frameworkprocessor-hf'
)

#Run the processing job
hfp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data/'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='val', source='/opt/ml/processing/output/val/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)

Wenn Sie eine requirements.txt Datei haben, sollte es sich um eine Liste von Bibliotheken handeln, die Sie im Container installieren möchten. Der Pfad für source_dir kann ein relativer, absoluter oder Amazon-S3-URI-Pfad sein. Wenn Sie jedoch einen Amazon-S3-URI verwenden, muss dieser auf eine Datei tar.gz verweisen. Sie können mehrere Skripte in dem Verzeichnis haben, das Sie für source_dir angeben. Weitere Informationen zu dieser HuggingFaceProcessor-Klasse finden Sie unter Hugging Face Schätzer im Amazon SageMaker AI Python SDK.