Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Comience con el entrenamiento distribuido en Amazon SageMaker AI

La siguiente página proporciona información sobre los pasos necesarios para empezar en el entrenamiento distribuida en Amazon SageMaker AI. Si ya conoce el entrenamiento distribuido, seleccione una de las siguientes opciones que se adapte a su estrategia o marco preferido para empezar. Si desea obtener más información sobre el entrenamiento distribuido en general, consulte Conceptos de entrenamiento distribuido.

Las bibliotecas de entrenamiento distribuido de SageMaker AI están optimizadas para el entorno de entrenamiento de SageMaker, ayudan a adaptar sus trabajos de entrenamiento distribuido a SageMaker y mejoran la velocidad y el rendimiento del entrenamiento. Las bibliotecas ofrecen estrategias de entrenamiento de paralelismo de datos y paralelismo de modelos. Combinan tecnologías de software y hardware para mejorar las comunicaciones entre GPU y entre nodos, y amplían las capacidades de entrenamiento de SageMaker AI con opciones integradas que requieren cambios mínimos de código en los scripts de entrenamiento. 

Antes de empezar

El entrenamiento de SageMaker admite el entrenamiento distribuido en una sola instancia, así como en múltiples instancias, por lo que puede ejecutar cualquier tamaño de entrenamiento a escala. Le recomendamos que utilice las clases estimadoras del marco, como PyTorch y TensorFlow del SageMaker Python SDK, que son los iniciadores de tareas de entrenamiento con varias opciones de entrenamiento distribuido. Al crear un objeto estimador, el objeto configura una infraestructura de entrenamiento distribuido, ejecuta la API CreateTrainingJob en el backend, encuentra la región en la que se están ejecutando las sesiones actuales y extrae uno de los contenedores de aprendizaje profundo AWS prediseñados y empaquetados con una serie de bibliotecas que incluyen marcos de aprendizaje profundo, marcos de entrenamiento distribuido y el controlador EFA. Si desea montar un sistema de archivos FSx en las instancias de entrenamiento, debe pasar su ID de subred de VPC y grupo de seguridad al estimador. Antes de ejecutar su trabajo de entrenamiento distribuido en SageMaker AI, lea la siguiente guía general sobre la configuración básica de la infraestructura.

Zonas de disponibilidad y plano posterior de red

Cuando se utilizan varias instancias (también denominadas nodos), es importante entender la red que conecta las instancias, cómo leen los datos de entrenamiento y cómo comparten la información entre sí. Por ejemplo, cuando ejecuta un trabajo de entrenamiento en paralelo con datos distribuidos, varios factores, como la comunicación entre los nodos de un clúster de procesamiento para ejecutar la operación AllReduce y la transferencia de datos entre los nodos y el almacenamiento de datos en Amazon Simple Storage Service o Amazon FSx para Lustre, desempeñan un papel crucial para lograr un uso óptimo de los recursos informáticos y una velocidad de entrenamiento más rápida. Para reducir la sobrecarga de comunicación, asegúrese de configurar las instancias, la subred de VPC y el almacenamiento de datos en la misma Región de AWS y en la zona de disponibilidad.

Instancias de GPU con una red más rápida y un almacenamiento de alto rendimiento

Técnicamente, puede utilizar cualquier instancia para un entrenamiento distribuido. Para los casos en los que necesite ejecutar trabajos de entrenamiento distribuido de varios nodos para entrenar modelos de lenguaje de gran tamaño (LLM) y modelos de difusión, que requieren una conmutación entre nodos más rápida, recomendamos las instancias de GPU habilitadas para EFA compatibles con SageMaker AI. Especialmente, para conseguir el trabajo de entrenamiento distribuido más eficaz en SageMaker AI, recomendamos las instancias P4d y P4de equipadas con GPU NVIDIA A100. También están equipadas con almacenamiento de instancias locales de alto rendimiento y baja latencia, así como una red dentro del nodo más rápida. Para el almacenamiento de datos, recomendamos Amazon FSx para Lustre, que proporciona un alto rendimiento para almacenar conjuntos de datos de entrenamiento y puntos de control de modelos.

Utilización de la biblioteca de paralelismo de datos distribuidos de SageMaker AI (SMDDP)

La biblioteca de SMDDP mejora la comunicación entre nodos con implementaciones de operaciones de comunicación colectiva de AllReduce y AllGather optimizadas para la infraestructura de red de AWS y la topología de instancias de ML de Amazon SageMaker AI. Puede utilizar la biblioteca de SMDDP como backend de los paquetes de entrenamiento distribuidos basados en PyTorch: paralelismo de datos distribuidos (DDP) de PyTorch, paralelismo de datos totalmente particionados (FSDP) de PyTorch, DeepSpeed y Megatron-DeepSpeed. El siguiente ejemplo de código muestra cómo configurar un estimador de PyTorch para inicializar un trabajo de entrenamiento distribuido en dos instancias de ml.p4d.24xlarge.

from sagemaker.pytorch import PyTorch

estimator = PyTorch(
    ...,
    instance_count=2,
    instance_type="ml.p4d.24xlarge",
    # Activate distributed training with SMDDP
    distribution={ "pytorchddp": { "enabled": True } }  # mpirun, activates SMDDP AllReduce OR AllGather
    # distribution={ "torch_distributed": { "enabled": True } }  # torchrun, activates SMDDP AllGather
    # distribution={ "smdistributed": { "dataparallel": { "enabled": True } } }  # mpirun, activates SMDDP AllReduce OR AllGather
)

Si quiere aprender a preparar su script de entrenamiento e inicializar un trabajo de entrenamiento distribuido de paralelismo de datos en SageMaker AI, consulte Ejecución del entrenamiento distribuido con la biblioteca de paralelismo de datos distribuidos de SageMaker AI.

Utilización de la biblioteca de paralelismo de modelos (SMP) de SageMaker AI

SageMaker AI proporciona la biblioteca SMP y admite diversas técnicas de entrenamiento distribuido, como el paralelismo de datos partidos, la canalización, el paralelismo de tensores, la partición de estados del optimizador y mucho más. Para obtener más información sobre lo que ofrece la biblioteca SMP, consulte Características principales de la biblioteca de paralelismo de modelos de SageMaker.

Para utilizar la biblioteca de paralelismo de modelos de SageMaker AI, configure el parámetro distribution de los estimadores del marco de SageMaker AI. Los estimadores de marcos compatibles son PyTorch y TensorFlow. El siguiente ejemplo de código muestra cómo construir un estimador de marco para el entrenamiento distribuido con la biblioteca de paralelismo de modelos en dos instancias ml.p4d.24xlarge.

from sagemaker.framework import Framework

distribution={
    "smdistributed": {
        "modelparallel": {
            "enabled":True,
            "parameters": {
                ...   # enter parameter key-value pairs here
            }
        },
    },
    "mpi": {
        "enabled" : True,
        ...           # enter parameter key-value pairs here
    }
}

estimator = Framework(
    ...,
    instance_count=2,
    instance_type="ml.p4d.24xlarge",
    distribution=distribution
)

Si quiere aprender a adaptar su script de entrenamiento, configure los parámetros de distribución en la clase estimator y lance un trabajo de entrenamiento distribuido, consulte la biblioteca de paralelismo de modelos de SageMaker AI (consulte también las API de entrenamiento distribuido en la documentación de SageMaker Python SDK).

Utilice marcos de entrenamiento distribuido de código abierto

SageMaker AI también admite las siguientes opciones para operar mpirun y torchrun en el backend.