Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Comience con la formación distribuida en Amazon SageMaker AI

En la siguiente página se proporciona información sobre los pasos necesarios para empezar con la formación distribuida en Amazon SageMaker AI. Si ya conoce el entrenamiento distribuido, seleccione una de las siguientes opciones que se adapte a su estrategia o marco preferido para empezar. Si desea obtener más información sobre el entrenamiento distribuido en general, consulte Conceptos de entrenamiento distribuido.

Las bibliotecas de formación distribuidas sobre SageMaker IA están optimizadas para el entorno de SageMaker formación, ayudan a adaptar sus tareas de formación distribuidas a la SageMaker IA y mejoran la velocidad y el rendimiento de la formación. Las bibliotecas ofrecen estrategias de entrenamiento de paralelismo de datos y paralelismo de modelos. Combinan tecnologías de software y hardware para mejorar las comunicaciones entre GPU y entre nodos, y amplían las capacidades de entrenamiento de la SageMaker IA con opciones integradas que requieren cambios mínimos de código en los guiones de entrenamiento. 

Antes de empezar

SageMaker La formación admite la formación distribuida en una sola instancia y en varias instancias, por lo que puede impartir formación de cualquier tamaño a escala. Le recomendamos que utilice las clases estimadoras del marco, como PyTorchy TensorFlowen el SDK de SageMaker Python, que son los lanzadores de tareas de formación con varias opciones de formación distribuidas. Al crear un objeto estimador, el objeto configura una infraestructura de entrenamiento distribuida, ejecuta la CreateTrainingJob API en el backend, encuentra la región en la que se está ejecutando la sesión actual y extrae uno de los contenedores de aprendizaje AWS profundo prediseñados y empaquetados con una serie de bibliotecas que incluyen marcos de aprendizaje profundo, marcos de entrenamiento distribuidos y el controlador EFA. Si desea montar un sistema de FSx archivos en las instancias de entrenamiento, debe pasar su ID de subred de VPC y grupo de seguridad al estimador. Antes de realizar tu trabajo de formación distribuida en SageMaker IA, lee las siguientes instrucciones generales sobre la configuración básica de la infraestructura.

Zonas de disponibilidad y plano posterior de red

Cuando se utilizan varias instancias (también denominadas nodos), es importante entender la red que conecta las instancias, cómo leen los datos de entrenamiento y cómo comparten la información entre sí. Por ejemplo, cuando ejecuta un trabajo de formación en paralelo con datos distribuidos, varios factores, como la comunicación entre los nodos de un clúster de procesamiento para ejecutar la AllReduce operación y la transferencia de datos entre los nodos y el almacenamiento de datos en Amazon Simple Storage Service o Amazon FSx for Lustre, desempeñan un papel crucial para lograr un uso óptimo de los recursos informáticos y una velocidad de entrenamiento más rápida. Para reducir la sobrecarga de comunicación, asegúrate de configurar las instancias, la subred de VPC y el almacenamiento de datos en la misma Región de AWS zona y en la zona de disponibilidad.

Instancias de GPU con una red más rápida y un almacenamiento de alto rendimiento

Técnicamente, puede utilizar cualquier instancia para un entrenamiento distribuido. En los casos en los que necesites realizar tareas de formación distribuidas en varios nodos para entrenar modelos grandes, como modelos lingüísticos de gran tamaño (LLMs) y modelos de difusión, que requieren una conmutación más rápida entre nodos, te recomendamos las instancias de GPU compatibles con EFA y compatibles con la IA. SageMaker Especialmente, para conseguir el trabajo de formación distribuido con el máximo rendimiento en SageMaker IA, recomendamos las instancias P4d y P4de equipadas con NVIDIA A100. GPUs También están equipadas con almacenamiento de instancias locales de alto rendimiento y baja latencia, así como una red dentro del nodo más rápida. Para el almacenamiento de datos, recomendamos Amazon FSx for Lustre, que proporciona un alto rendimiento para almacenar conjuntos de datos de entrenamiento y puntos de control de modelos.

Utilice la biblioteca de paralelismo de datos distribuidos (SMDDP) de SageMaker IA

La biblioteca SMDDP mejora la comunicación entre los nodos con implementaciones AllReduce y operaciones de comunicación AllGather colectiva optimizadas para la infraestructura de AWS red y la topología de instancias de Amazon SageMaker AI ML. Puede utilizar la biblioteca SMDDP como backend de los paquetes de formación distribuidos PyTorch basados en PyTorch datos: distributed data parallel (DDP), PyTorch fully sharded data paralelism (FSDP) y Megatron-. DeepSpeedDeepSpeed El siguiente ejemplo de código muestra cómo configurar un estimador de PyTorch para inicializar un trabajo de entrenamiento distribuido en dos instancias de ml.p4d.24xlarge.

from sagemaker.pytorch import PyTorch

estimator = PyTorch(
    ...,
    instance_count=2,
    instance_type="ml.p4d.24xlarge",
    # Activate distributed training with SMDDP
    distribution={ "pytorchddp": { "enabled": True } }  # mpirun, activates SMDDP AllReduce OR AllGather
    # distribution={ "torch_distributed": { "enabled": True } }  # torchrun, activates SMDDP AllGather
    # distribution={ "smdistributed": { "dataparallel": { "enabled": True } } }  # mpirun, activates SMDDP AllReduce OR AllGather
)

Para obtener información sobre cómo preparar su guion de formación y lanzar un trabajo de formación en paralelo con datos distribuidos sobre SageMaker IA, consulteRealice un entrenamiento distribuido con la biblioteca de paralelismo de datos distribuidos de SageMaker IA.

Utilice la biblioteca de paralelismo de modelos de SageMaker IA (SMP)

SageMaker La IA proporciona la biblioteca SMP y admite diversas técnicas de entrenamiento distribuidas, como el paralelismo de datos fragmentados, la canalización, el paralelismo tensorial, la fragmentación del estado del optimizador y más. Para obtener más información sobre lo que ofrece la biblioteca SMP, consulte Características principales de la biblioteca de paralelismo de SageMaker modelos.

Para utilizar la biblioteca de paralelismo de modelos de SageMaker AI, configure el parámetro de los estimadores del marco de IA. distribution SageMaker Los estimadores de marcos compatibles son y. PyTorchTensorFlow El siguiente ejemplo de código muestra cómo construir un estimador de marco para el entrenamiento distribuido con la biblioteca de paralelismo de modelos en dos instancias ml.p4d.24xlarge.

from sagemaker.framework import Framework

distribution={
    "smdistributed": {
        "modelparallel": {
            "enabled":True,
            "parameters": {
                ...   # enter parameter key-value pairs here
            }
        },
    },
    "mpi": {
        "enabled" : True,
        ...           # enter parameter key-value pairs here
    }
}

estimator = Framework(
    ...,
    instance_count=2,
    instance_type="ml.p4d.24xlarge",
    distribution=distribution
)

Para aprender a adaptar tu guion de entrenamiento, configurar los parámetros de distribución en la estimator clase y lanzar un trabajo de entrenamiento distribuido, consulta la biblioteca de paralelismo de modelos de SageMaker IA (consulta también Entrenamiento distribuido en la documentación APIs del SDK de SageMaker Python).

Utilice marcos de entrenamiento distribuido de código abierto

SageMaker La IA también admite las siguientes opciones de funcionamiento mpirun y torchrun en el backend.