Konfigurieren Sie einen Trainingsjob mit einem heterogenen Cluster in Amazon AI SageMaker

Verwenden Sie die sagemaker.instance_group.InstanceGroup Klasse, um Instance-Gruppen eines heterogenen Clusters für einen Trainingsauftrages zu konfigurieren. Sie können für jede Instance-Gruppe einen benutzerdefinierten Namen, den Instance-Typ und die Anzahl der Instances für jede Instance-Gruppe angeben. Weitere Informationen finden Sie unter sagemaker.instance_group. InstanceGroupin der AI-Python-SDK-Dokumentation. SageMaker

Das folgende Codebeispiel zeigt, wie zwei Instanzgruppen eingerichtet werden, die aus zwei benannten ml.c5.18xlarge CPU-only Instanzen instance_group_1 und einer benannten ml.p3dn.24xlarge GPU-Instanz besteheninstance_group_2, wie in der folgenden Abbildung dargestellt.

Das obige Diagramm zeigt ein konzeptionelles Beispiel dafür, wie Prozesse vor dem Training, wie z. B. die Datenvorverarbeitung, der CPU-Instance-Gruppe zugewiesen und die vorverarbeiteten Daten an die GPU-Instance-Gruppe gestreamt werden können.

from sagemaker.instance_group import InstanceGroup

instance_group_1 = InstanceGroup(
    "instance_group_1", "ml.c5.18xlarge", 2
)
instance_group_2 = InstanceGroup(
    "instance_group_2", "ml.p3dn.24xlarge", 1
)

Richten Sie mithilfe der Instanzgruppenobjekte die Eingabekanäle für das Training ein und weisen Sie den Kanälen mithilfe des instance_group_names Arguments Instanzgruppen zu. Das instance_group_names-Argument akzeptiert eine Liste von Strings mit Instance-Gruppennamen.

Das folgende Beispiel zeigt, wie zwei Trainingseingangskanäle eingerichtet und die im Beispiel des vorherigen Schritts erstellten Instance-Gruppen zugewiesen werden. Sie können auch Amazon S3-Bucket-Pfade für die Instanzgruppen angeben, um Daten für Ihre Nutzungszwecke zu verarbeiten.

from sagemaker.train.configs import InputData
from sagemaker.core.shapes import Channel, DataSource, S3DataSource

training_input_channel_1 = Channel(
    channel_name='training',
    data_source=DataSource(
        s3_data_source=S3DataSource(
            s3_data_type='S3Prefix',
            s3_uri='s3://your-training-data-storage/folder1',
            s3_data_distribution_type='FullyReplicated', # Available Options: FullyReplicated | ShardedByS3Key
            instance_group_names=["instance_group_1"],
        )
    ),
    input_mode='File', # Available Options: File | Pipe | FastFile
)

training_input_channel_2 = Channel(
    channel_name='dummy-input-channel',
    data_source=DataSource(
        s3_data_source=S3DataSource(
            s3_data_type='S3Prefix',
            s3_uri='s3://your-training-data-storage/folder2',
            s3_data_distribution_type='FullyReplicated',
            instance_group_names=["instance_group_2"],
        )
    ),
    input_mode='File',
)

Weitere Informationen zu den Argumenten von InputData, finden Sie unter den folgenden Links.

Konfigurieren Sie ein SageMaker AI-Trainingsobjekt mit dem instance_groups Argument, wie im folgenden Codebeispiel gezeigt. Das instance_groups-Argument akzeptiert eine Liste von InstanceGroup-Objekten.

PyTorch

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import SourceCode
from sagemaker.core import image_uris

training_image = image_uris.retrieve(
    framework="pytorch", region=region, version='x.y.z',    # 1.10.0 or later
    py_version='pyxy', instance_type='ml.p3dn.24xlarge',
    image_scope="training"
)

model_trainer = ModelTrainer(
    ...
    source_code=SourceCode(entry_script='my-training-script.py'),
    training_image=training_image,
    job_name='my-training-job-with-heterogeneous-cluster',
    instance_groups=[instance_group_1, instance_group_2]
)

TensorFlow

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import SourceCode
from sagemaker.core import image_uris

training_image = image_uris.retrieve(
    framework="tensorflow", region=region, version='x.y.z', # 2.6.0 or later
    py_version='pyxy', instance_type='ml.p3dn.24xlarge',
    image_scope="training"
)

model_trainer = ModelTrainer(
    ...
    source_code=SourceCode(entry_script='my-training-script.py'),
    training_image=training_image,
    job_name='my-training-job-with-heterogeneous-cluster',
    instance_groups=[instance_group_1, instance_group_2]
)

Starten Sie den Trainingsjob mit den Trainingseingabekanälen, die mit den Instanzgruppen konfiguriert wurden.

model_trainer.train(
    inputs={
        'training': training_input_channel_1, 
        'dummy-input-channel': training_input_channel_2
    }
)