View a markdown version of this page

Montagem do Amazon FSx for Lustre e do Amazon FSx for OpenZFS em um cluster HyperPod - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Montagem do Amazon FSx for Lustre e do Amazon FSx for OpenZFS em um cluster HyperPod

Para montar um sistema de arquivos compartilhados Amazon FSx for Lustre em seu HyperPod cluster, configure o seguinte.

  1. Use a sua Amazon VPC.

    1. Para que as instâncias do HyperPod cluster se comuniquem dentro da sua VPC, certifique-se de anexar o Configuração SageMaker HyperPod com um Amazon VPC personalizado à função do IAM para SageMaker HyperPod.

    2. Em create_cluster.json, inclua as informações a seguir.

      "VpcConfig": { 
    "SecurityGroupIds": [ "string" ],
    "Subnets": [ "string" ]
}

      Para mais dicas sobre como configurar a Amazon VPC, consulte Pré-requisitos para usar SageMaker HyperPod.

  2. Para concluir a configuração do Slurm com o Amazon FSx for Lustre, você pode usar uma das seguintes abordagens. Você pode encontrar as informações do Amazon FSx no console do Amazon FSx for Lustre em sua conta ou executando o seguinte AWS CLI comando,. aws fsx describe-file-systems

    Opção A: API-Driven Configuração (recomendada)

    Especifique a configuração do Amazon FSx diretamente na carga útil da CreateCluster API usando em cada InstanceStorageConfigs grupo de instâncias. Essa abordagem oferece suporte ao FSx for Lustre e ao FSx for OpenZFS e permite a configuração do FSx por grupo de instâncias.

    "InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx",
            "MountName": "1abcdefg"
        }
    }
]

    Para FSx for OpenZFS, use em vez disso: FsxOpenZfsConfig

    "InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
            "MountPath": "/fsx-openzfs"
        }
    }
]

    Para obter mais detalhes, consulte Introdução ao SageMaker HyperPod uso da AWS CLI.

    Opção B: Configuração legada

    Especifique o nome DNS do Amazon FSx e o nome de montagem do Amazon FSxprovisioning_parameters.json, conforme mostrado na figura na seção. Scripts básicos de ciclo de vida fornecidos por HyperPod

    "fsx_dns_name": "fs-12345678a90b01cde.fsx.us-west-2.amazonaws.com",
"fsx_mountname": "1abcdefg"