As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

SageMaker HyperPod referências

Encontre mais informações e referências sobre o uso SageMaker HyperPod nos tópicos a seguir.

SageMaker HyperPod preços

Os tópicos a seguir fornecem informações sobre SageMaker HyperPod preços. Para encontrar mais detalhes sobre o preço por hora do uso de SageMaker HyperPod instâncias, consulte também os SageMaker preços da Amazon.

Solicitações de capacidade

Você pode alocar capacidade computacional sob demanda ou reservada com SageMaker IA para uso em. SageMaker HyperPod A criação de clusters sob demanda aloca a capacidade disponível do pool de capacidade sob demanda de SageMaker IA. Como alternativa, você pode solicitar capacidade reservada para garantir o acesso enviando um ticket para aumentar a cota. As solicitações de capacidade de entrada são priorizadas pela SageMaker IA e você recebe um tempo estimado para alocação de capacidade.

Faturamento de serviço

Ao provisionar uma capacidade computacional SageMaker HyperPod, você é cobrado pela duração da alocação de capacidade. SageMaker HyperPod o faturamento aparece em suas faturas de aniversário com um item de linha para o tipo de alocação de capacidade (sob demanda, reservada), o tipo de instância e o tempo gasto no uso da instância.

Para enviar um ticket para um aumento de cota, consulteSageMaker HyperPod cotas.

SageMaker HyperPod APIs

A lista a seguir é um conjunto completo SageMaker HyperPod APIs para enviar solicitações de ação no formato JSON para a SageMaker IA por meio AWS CLI de ou. AWS SDK para Python (Boto3)

SageMaker HyperPod Configuração do Slurm

HyperPod oferece suporte a duas abordagens para configurar o Slurm em seu cluster. Escolha a abordagem que melhor atenda às suas necessidades.

Configuração do Slurm baseada em API (recomendada)

Com a configuração orientada por API, você define os tipos de nós do Slurm, as atribuições de partições e as montagens do sistema de arquivos diretamente nas solicitações e na API. CreateCluster UpdateCluster Essa abordagem fornece:

SlurmConfig (por grupo de instâncias)

Adicione SlurmConfig a cada grupo de instâncias para definir o tipo de nó do Slurm e a atribuição da partição.

"SlurmConfig": {
    "NodeType": "Controller | Login | Compute",
    "PartitionNames": ["string"]
}

Parâmetros:

Exemplo:

{
    "InstanceGroupName": "gpu-compute",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 8,
    "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["gpu-training"]
    },
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://sagemaker-bucket/lifecycle/src/",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole"
}

Orchestrator.Slurm (nível de cluster)

Adicione Orchestrator.Slurm à configuração do cluster para especificar como HyperPod gerencia o slurm.conf arquivo.

"Orchestrator": {
    "Slurm": {
        "SlurmConfigStrategy": "Managed | Overwrite | Merge"
    }
}

Parâmetros:

Exemplo:

{
    "ClusterName": "my-hyperpod-cluster",
    "InstanceGroups": [...],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    }
}

SlurmConfigStrategy comparação

FSx configuração via InstanceStorageConfigs

Com a configuração orientada por API, você pode configurar FSx sistemas de arquivos por grupo de instâncias usando o. InstanceStorageConfigs Isso permite que diferentes grupos de instâncias montem sistemas de arquivos diferentes.

Pré-requisitos:

FsxLustreConfig

Configure FSx para montagem do sistema de arquivos Lustre para um grupo de instâncias.

"InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "string",
            "MountPath": "string",
            "MountName": "string"
        }
    }
]

Parâmetros:

FsxOpenZfsConfig

Configure FSx para montagem do sistema de arquivos OpenZFS para um grupo de instâncias.

"InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "string",
            "MountPath": "string"
        }
    }
]

Parâmetros:

Exemplo com vários sistemas de arquivos:

{
    "InstanceGroupName": "gpu-compute",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 4,
    "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["gpu-training"]
    },
    "InstanceStorageConfigs": [
        {
            "FsxLustreConfig": {
                "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                "MountPath": "/fsx",
                "MountName": "abcdefgh"
            }
        },
        {
            "FsxOpenZfsConfig": {
                "DnsName": "fs-0xyz987654321.fsx.us-west-2.amazonaws.com",
                "MountPath": "/shared"
            }
        },
        {
            "EbsVolumeConfig": {
                "VolumeSizeInGB": 500
            }
        }
    ],
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://sagemaker-bucket/lifecycle/src/",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole"
}

Exemplo completo de configuração orientada por API

O exemplo a seguir mostra uma CreateCluster solicitação completa usando a configuração do Slurm orientada por API:

{
    "ClusterName": "ml-training-cluster",
    "InstanceGroups": [
        {
            "InstanceGroupName": "controller",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Controller"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        },
        {
            "InstanceGroupName": "login",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Login"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        },
        {
            "InstanceGroupName": "gpu-compute",
            "InstanceType": "ml.p4d.24xlarge",
            "InstanceCount": 8,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["gpu-training"]
            },
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ],
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2,
            "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
        },
        {
            "InstanceGroupName": "cpu-compute",
            "InstanceType": "ml.c5.18xlarge",
            "InstanceCount": 4,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["cpu-preprocessing"]
            },
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ],
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        }
    ],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    },
    "VpcConfig": {
        "SecurityGroupIds": ["sg-0abc123def456789a"],
        "Subnets": ["subnet-0abc123def456789a", "subnet-0abc123def456789b"]
    },
    "Tags": [
        {
            "Key": "Project",
            "Value": "ML-Training"
        }
    ]
}

Para saber mais sobre como usar a configuração orientada por API, consulte. Personalização de SageMaker HyperPod clusters usando scripts de ciclo de vida

Configuração legada: provisioning_parameters.json

Com a abordagem legada, você cria um arquivo de configuração do Slurm chamado provisioning_parameters.json e o carrega no Amazon S3 como parte de seus scripts de ciclo de vida. HyperPod lê esse arquivo durante a criação do cluster para configurar os nós do Slurm.

Formulário de configuração para provisioning_parameters.json

O código a seguir é o formulário de configuração do Slurm que você deve preparar para configurar adequadamente os nós do Slurm em seu cluster. HyperPod Preencha esse formulário e carregá-lo como parte de um conjunto de scripts de ciclo de vida durante a criação do cluster. Para saber como esse formulário deve ser preparado em todos os processos de criação de HyperPod clusters, consultePersonalização de SageMaker HyperPod clusters usando scripts de ciclo de vida.

// Save as provisioning_parameters.json.
{
    "version": "1.0.0",
    "workload_manager": "slurm",
    "controller_group": "string",
    "login_group": "string",
    "worker_groups": [
        {
            "instance_group_name": "string",
            "partition_name": "string"
        }
    ],
    "fsx_dns_name": "string",
    "fsx_mountname": "string"
}

Parâmetros:

Comparação: configuração baseada em API versus configuração legada

SageMaker HyperPod DLAMI

SageMaker HyperPod executa um DLAMI com base em:

O SageMaker HyperPod DLAMI é fornecido com pacotes adicionais para oferecer suporte a ferramentas de código aberto, como Slurm, Kubernetes, dependências e pacotes de software de cluster, para oferecer suporte a recursos de resiliência, como verificação de SageMaker HyperPod integridade e retomada automática do cluster. Para acompanhar as atualizações HyperPod de software pelas quais a equipe HyperPod de serviço distribui DLAMIs, consulteNotas SageMaker HyperPod de lançamento da Amazon.

SageMaker HyperPod Referência de permissões da API

Ao configurar o controle de acesso para permitir a execução de operações de SageMaker HyperPod API e escrever uma política de permissões que você pode anexar aos usuários do IAM para administradores de nuvem, use a tabela a seguir como referência.

Para obter uma lista completa de permissões e tipos de recursos para SageMaker APIs, consulte Ações, recursos e chaves de condição para Amazon SageMaker AI na Referência de Autorização de AWS Serviço.

SageMaker HyperPod comandos em AWS CLI

A seguir estão os AWS CLI comandos SageMaker HyperPod para executar as principais operações HyperPod da API.

SageMaker HyperPod Módulos Python em AWS SDK para Python (Boto3)

A seguir estão os métodos do AWS SDK para Python (Boto3) cliente para que a SageMaker IA execute as principais operações HyperPod da API.