As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como a Amazon SageMaker AI fornece informações de treinamento

Esta seção explica como a SageMaker IA disponibiliza informações de treinamento, como dados de treinamento, hiperparâmetros e outras informações de configuração, para seu contêiner do Docker.

Ao enviar uma CreateTrainingJobsolicitação à SageMaker IA para iniciar o treinamento do modelo, você especifica o caminho do Amazon Elastic Container Registry (Amazon ECR) da imagem do Docker que contém o algoritmo de treinamento. Você também especifica o local do Amazon Simple Storage Service (Amazon S3) onde os dados de treinamento são armazenados e os parâmetros específicos do algoritmo. SageMaker A IA disponibiliza essas informações para o contêiner do Docker para que seu algoritmo de treinamento possa usá-las. Esta seção explica como disponibilizamos essas informações para o seu contêiner do Docker. Para obter informações sobre como criar um trabalho de treinamento, consulte CreateTrainingJob. Para obter mais informações sobre como os contêineres de SageMaker IA organizam as informações, consulteSageMaker Kits de ferramentas de treinamento e inferência.

Hiperparâmetros

SageMaker A IA disponibiliza os hiperparâmetros em uma CreateTrainingJob solicitação no contêiner do Docker no /opt/ml/input/config/hyperparameters.json arquivo.

A seguir está um exemplo de uma configuração de hiperparâmetros hyperparameters.json para especificar os eta hiperparâmetros num_round e na CreateTrainingJob operação para. XGBoost

{
    "num_round": "128",
    "eta": "0.001"
}            

Para obter uma lista completa dos hiperparâmetros que podem ser usados para o XGBoost algoritmo integrado de SageMaker IA, consulte XGBoostHiperparâmetros.

Os hiperparâmetros que você pode ajustar dependem do algoritmo que você está treinando. Para obter uma lista dos hiperparâmetros disponíveis para um algoritmo integrado de SageMaker IA, encontre-os listados em Hiperparâmetros no link do algoritmo em Use Amazon SageMaker AI Built-in Algorithms or Pre-Trained Models.

Variáveis de ambiente

SageMaker A IA define as seguintes variáveis de ambiente em seu contêiner:

Configuração dos dados de entrada

SageMaker A IA disponibiliza as informações do canal de dados no InputDataConfig parâmetro da sua CreateTrainingJob solicitação no /opt/ml/input/config/inputdataconfig.json arquivo em seu contêiner do Docker.

Por exemplo, suponha que você especifique três canais de dados (trainevaluation, evalidation) em sua solicitação. SageMaker A IA fornece o seguinte JSON:

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

Dados de treinamento

O parâmetro TrainingInputMode na em AlgorithmSpecification na solicitação CreateTrainingJob especifica como o conjunto de dados de treinamento é disponibilizado para seu contêiner. Os seguintes modos de entrada estão disponíveis:

SageMaker O treinamento do modelo de IA oferece suporte a buckets de diretório S3 Express One Zone de alto desempenho como um local de entrada de dados para o modo de arquivo, modo de arquivo rápido e modo pipe. Para usar o S3 Express One Zone, insira a localização do bucket de diretório do S3 Express One Zone em vez de um bucket de uso geral do Amazon S3. Forneça o ARN para o perfil do IAM com o controle de acesso e a política de permissões necessários. Para mais detalhes, consulte AmazonSageMakerFullAccesspolicy. Você só pode criptografar seus dados de saída de SageMaker IA em buckets de diretório com criptografia do lado do servidor com chaves gerenciadas do Amazon S3 (SSE-S3). Atualmente, a criptografia do lado do servidor com AWS KMS chaves (SSE-KMS) não é suportada para armazenar dados de saída de SageMaker IA em buckets de diretório. Para obter mais informações, consulte S3 Express One Zone.

Configuração do treinamento distribuído

Se você estiver realizando um treinamento distribuído com vários contêineres, a SageMaker IA disponibiliza informações sobre todos os contêineres no /opt/ml/input/config/resourceconfig.json arquivo.

Para permitir a comunicação entre contêineres, esse arquivo JSON contém informações de todos os contêineres. SageMaker A IA disponibiliza esse arquivo para algoritmos File de ambos os Pipe modos. O arquivo fornece as seguintes informações:

Veja a seguir um exemplo de arquivo no nó 1 em um cluster de três nós:

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}