View a markdown version of this page

Configurar el modo de entrada de datos mediante el SDK de SageMaker Python - Amazon SageMaker AI

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configurar el modo de entrada de datos mediante el SDK de SageMaker Python

SageMaker El SDK de Python proporciona la clase genérica Estimator y sus variaciones para los marcos de aprendizaje automático para lanzar trabajos de formación. Puede especificar uno de los modos de entrada de datos al configurar la Estimator clase de SageMaker IA o el Estimator.fit método. Las siguientes plantillas de código muestran las dos formas de especificar modos de entrada.

Para especificar el modo de entrada mediante la clase Estimator

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://amzn-s3-demo-bucket/checkpoint-destination/',
    output_path='s3://amzn-s3-demo-bucket/output-path/',
    base_job_name='job-name',
    input_mode='File'  # Available options: File | Pipe | FastFile
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(s3_data="s3://amzn-s3-demo-bucket/my-data/train")
)

Para obtener más información, consulte la clase SageMaker.Estimator.Estimator en la documentación del SDK de Python. SageMaker

Para especificar el modo de entrada mediante el método estimator.fit()

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://amzn-s3-demo-bucket/checkpoint-destination/',
    output_path='s3://amzn-s3-demo-bucket/output-path/',
    base_job_name='job-name',
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(
        s3_data="s3://amzn-s3-demo-bucket/my-data/train",
        input_mode='File'  # Available options: File | Pipe | FastFile
    )
)

Para obtener más información, consulte sagemaker.estimator. Estimator.fitel método class y el método sagemaker.inputs. TrainingInputclase en la documentación del SDK de SageMaker Python.

sugerencia

Para obtener más información sobre cómo configurar Amazon FSx for Lustre o Amazon EFS con su SageMaker configuración de VPC mediante los estimadores del SDK de Python, consulte Utilizar sistemas de archivos como SageMaker entradas de formación en la documentación del SDK de Python para IA.

sugerencia

Las integraciones del modo de entrada de datos con Amazon S3, Amazon EFS y FSx para Lustre son formas recomendadas de configurar de forma óptima el origen de datos según las prácticas recomendadas. Puede mejorar estratégicamente el rendimiento de carga de datos mediante las opciones de almacenamiento gestionado y los modos de entrada de SageMaker IA, pero no está estrictamente limitado. Puede escribir su propia lógica de lectura de datos directamente en su contenedor de entrenamiento. Por ejemplo, puede configurarlo para leer desde un origen de datos distinto, escribir su propia clase de cargador de datos de S3 o usar funciones de carga de datos de marcos de terceros en su script de entrenamiento. Sin embargo, debes asegurarte de especificar las rutas correctas que la SageMaker IA pueda reconocer.

sugerencia

Si utilizas un contenedor de formación personalizado, asegúrate de instalar el kit de herramientas de SageMaker formación que te ayude a configurar el entorno para los trabajos de SageMaker formación. De lo contrario, debe especificar las variables de entorno de forma explícita en su Dockerfile. Para obtener más información, consulte Crear un contenedor con sus propios algoritmos y modelos.

Para obtener más información sobre cómo configurar los modos de entrada de datos mediante las SageMaker API de bajo nivelCómo proporciona Amazon SageMaker AI la información de formación, consulte la CreateTrainingJobAPI y las TrainingInputMode AlgorithmSpecification