As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como o Amazon SageMaker AI fornece informações de treinamento

Esta seção explica como o SageMaker AI disponibiliza informações de treinamento, como dados de treinamento, hiperparâmetros e outras informações de configuração, para o contêiner do Docker.

Ao enviar uma solicitação CreateTrainingJob ao SageMaker AI para iniciar o treinamento do modelo, especifique o caminho do Amazon Elastic Container Registry (Amazon ECR) da imagem do Docker que contém o algoritmo de treinamento. Além disso, especifique o local do Amazon Simple Storage Service (Amazon S3) no qual os dados de treinamento são armazenados e os parâmetros específicos do algoritmo. O SageMaker AI disponibiliza essas informações para o contêiner do Docker para que o algoritmo de treinamento possa usá-las. Esta seção explica como disponibilizamos essas informações para o seu contêiner do Docker. Para obter informações sobre como criar um trabalho de treinamento, consulte CreateTrainingJob. Para ter mais informações sobre como os contêineres do SageMaker AI organizam as informações, consulte Kits de ferramentas de treinamento e inferência do SageMaker.

Hiperparâmetros

O SageMaker AI disponibiliza os hiperparâmetros de uma solicitação CreateTrainingJob no contêiner do Docker, no arquivo /opt/ml/input/config/hyperparameters.json.

A seguir está um exemplo de uma configuração de hiperparâmetros no hyperparameters.json para especificar os hiperparâmetros num_round e eta na operação CreateTrainingJob do XGBoost.

{
    "num_round": "128",
    "eta": "0.001"
}            

Para ter uma lista completa dos hiperparâmetros que podem ser usados para o algoritmo XGBoost integrado do SageMaker AI, consulte Hiperparâmetros do XGBoost.

Os hiperparâmetros que você pode ajustar dependem do algoritmo que você está treinando. Para ver uma lista dos hiperparâmetros disponíveis para um algoritmo integrado do SageMaker AI, consulte Hiperparâmetros no link do algoritmo em Usar algoritmos integrados ou modelos pré-treinados do Amazon SageMaker AI.

Variáveis de ambiente

O SageMaker AI define as seguintes variáveis de ambiente em seu contêiner:

Configuração dos dados de entrada

As informações do canal de dados no parâmetro InputDataConfig de sua solicitação CreateTrainingJob são disponibilizadas pelo SageMaker AI no arquivo /opt/ml/input/config/inputdataconfig.json no contêiner do Docker.

Por exemplo, digamos que você especifique três canais de dados (train, evaluation e validation) em sua solicitação. O SageMaker AI fornece o seguinte JSON:

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

Dados de treinamento

O parâmetro TrainingInputMode na em AlgorithmSpecification na solicitação CreateTrainingJob especifica como o conjunto de dados de treinamento é disponibilizado para seu contêiner. Os seguintes modos de entrada estão disponíveis:

É possível usar buckets de diretório do S3 Express One Zone de alto desempenho como um local de entrada de dados para o modo de arquivo, modo de arquivo rápido e modo pipe no treinamento de modelo do SageMaker AI. Para usar o S3 Express One Zone, insira a localização do bucket de diretório do S3 Express One Zone em vez de um bucket de uso geral do Amazon S3. Forneça o ARN para o perfil do IAM com o controle de acesso e a política de permissões necessários. Consulte AmazonSageMakerFullAccesspolicy para obter detalhes. Só é possível criptografar os dados de saída do SageMaker AI em buckets de diretório com criptografia do lado do servidor com chaves gerenciadas pelo Amazon S3 (SSE-S3). No momento, a criptografia do lado do servidor com chaves do AWS KMS (SSE-KMS) não é compatível com o armazenamento de dados de saída do SageMaker AI nos buckets de diretório. Para obter mais informações, consulte S3 Express One Zone.

Configuração do treinamento distribuído

Se você estiver executando treinamento distribuído com vários contêineres, o SageMaker AI disponibilizará as informações sobre todos os contêineres no arquivo /opt/ml/input/config/resourceconfig.json.

Para permitir a comunicação entre os contêineres, esse arquivo JSON contém informações de todos eles. O SageMaker AI disponibiliza esse arquivo para os algoritmos dos modos File e Pipe. O arquivo fornece as seguintes informações:

Veja a seguir um exemplo de arquivo no nó 1 em um cluster de três nós:

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}