Codebeispiel für die Verwendung HuggingFaceProcessor im Amazon SageMaker Python SDK

Hugging Face ist ein Open-Source-Anbieter von Modellen zur natürlichen Sprachverarbeitung (NLP). Das HuggingFaceProcessor im Amazon SageMaker Python SDK enthaltene SDK bietet Ihnen die Möglichkeit, Verarbeitungsjobs mit Hugging Face Face-Skripten auszuführen. Wenn Sie den HuggingFaceProcessor verwenden, können Sie einen von Amazon erstellten Docker-Container mit einer verwalteten Hugging Face-Umgebung nutzen, sodass Sie keinen eigenen Container mitbringen müssen.

Das folgende Codebeispiel zeigt, wie Sie den verwenden können, HuggingFaceProcessor um Ihren Processing-Job mithilfe eines von AI bereitgestellten und verwalteten Docker-Images auszuführen. SageMaker Beachten Sie, dass Sie bei der Ausführung des Jobs ein Verzeichnis mit Ihren Skripten und Abhängigkeiten im source_dir Argument angeben können und dass sich in Ihrem source_dir Verzeichnis eine requirements.txt Datei befinden kann, die die Abhängigkeiten für Ihre Verarbeitungsskripte angibt. SageMaker Bei der Verarbeitung werden die Abhängigkeiten für Sie requirements.txt im Container installiert.

from sagemaker.huggingface import HuggingFaceProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the HuggingFaceProcessor
hfp = HuggingFaceProcessor(
    role=get_execution_role(), 
    instance_count=1,
    instance_type='ml.g4dn.xlarge',
    transformers_version='4.4.2',
    pytorch_version='1.6.0', 
    base_job_name='frameworkprocessor-hf'
)

#Run the processing job
hfp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data/'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='val', source='/opt/ml/processing/output/val/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)

Wenn Sie eine requirements.txt Datei haben, sollte es sich um eine Liste von Bibliotheken handeln, die Sie im Container installieren möchten. Der Pfad für source_dir kann ein relativer, absoluter oder Amazon-S3-URI-Pfad sein. Wenn Sie jedoch einen Amazon-S3-URI verwenden, muss dieser auf eine Datei tar.gz verweisen. Sie können mehrere Skripte in dem Verzeichnis haben, das Sie für source_dir angeben. Weitere Informationen zu diesem HuggingFaceProcessor Kurs finden Sie unter Hugging Face Estimator im Amazon SageMaker AI Python SDK.