Verwenden Sie die SMDDP-Bibliothek in Ihrem PyTorch Lightning-Trainingsskript

Importieren Sie die pytorch_lightning Bibliothek und die smdistributed.dataparallel.torch Module.

import lightning as pl
import smdistributed.dataparallel.torch.torch_smddp

Instanziieren Sie die. LightningEnvironment

from lightning.fabric.plugins.environments.lightning import LightningEnvironment

env = LightningEnvironment()
env.world_size = lambda: int(os.environ["WORLD_SIZE"])
env.global_rank = lambda: int(os.environ["RANK"])

Für PyTorch DDP — Erstellen Sie ein Objekt der https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.strategies.DDPStrategy.html DDPStrategy-Klasse mit "smddp" for process_group_backend und "gpu" for accelerator und übergeben Sie es an die Trainer-Klasse. https://pytorch-lightning.readthedocs.io/en/stable/common/trainer.html

import lightning as pl
from lightning.pytorch.strategies import DDPStrategy

ddp = DDPStrategy(
    cluster_environment=env, 
    process_group_backend="smddp", 
    accelerator="gpu"
)

trainer = pl.Trainer(
    max_epochs=200, 
    strategy=ddp, 
    devices=num_gpus, 
    num_nodes=num_nodes
)

Für PyTorch FSDP — Erstellen Sie ein Objekt der https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.strategies.FSDPStrategy.html FSDPStrategy-Klasse (mit einer gewünschten Wrapping-Richtlinie) mit "smddp" für process_group_backend und "gpu" für und übergeben Sie es an die accelerator Trainer-Klasse. https://pytorch-lightning.readthedocs.io/en/stable/common/trainer.html

import lightning as pl
from lightning.pytorch.strategies import FSDPStrategy

from functools import partial
from torch.distributed.fsdp.wrap import size_based_auto_wrap_policy

policy = partial(
    size_based_auto_wrap_policy, 
    min_num_params=10000
)

fsdp = FSDPStrategy(
    auto_wrap_policy=policy,
    process_group_backend="smddp", 
    cluster_environment=env
)

trainer = pl.Trainer(
    max_epochs=200, 
    strategy=fsdp, 
    devices=num_gpus, 
    num_nodes=num_nodes
)