Processore framework TensorFlow

TensorFlow è una libreria open source di machine learning e di machine learning. Il TensorFlowProcessor in Amazon SageMaker Python SDK offre la possibilità di eseguire processi di elaborazione con script TensorFlow. Quando utilizzi TensorFlowProcessor, puoi sfruttare un container Docker creato da Amazon con un ambiente TensorFlow gestito in modo da non dover portare il tuo container.

Il seguente esempio di codice mostra come è possibile utilizzare TensorFlowProcessor per eseguire un processo Processing utilizzando un’immagine Docker fornita e gestita da SageMaker AI. Si noti che quando si esegue il processo, è possibile specificare una directory contenente gli script e le dipendenze nell'argomento source_dir e d è possibile avere un file requirements.txt all'interno della directory source_dir che specifica le dipendenze per gli script di elaborazione. Elaborazione SageMaker installa le dipendenze in requirements.txt nel container per te.

from sagemaker.tensorflow import TensorFlowProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the TensorFlowProcessor
tp = TensorFlowProcessor(
    framework_version='2.3',
    role=get_execution_role(),
    instance_type='ml.m5.xlarge',
    instance_count=1,
    base_job_name='frameworkprocessor-TF',
    py_version='py37'
)

#Run the processing job
tp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data'
        ),
        ProcessingInput(
            input_name='model',
            source=f's3://{BUCKET}/{S3_PATH_TO_MODEL}',
            destination='/opt/ml/processing/input/model'
        )
    ],
    outputs=[
        ProcessingOutput(
            output_name='predictions',
            source='/opt/ml/processing/output',
            destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'
        )
    ]
)

Se hai un file requirements.txt, dovrebbe essere un elenco di librerie che desideri installare nel container. Il percorso per source_dir può essere un percorso URI relativo, assoluto o Amazon S3. Tuttavia, se utilizzi un URI Amazon S3, deve puntare a un file tar.gz. Puoi avere più script nella directory specificata per source_dir. Per ulteriori informazioni sulla classe TensorFlowProcessor, consulta TensorFlow Estimator in Amazon SageMaker Python SDK.