As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como o Amazon SageMaker AI executa uma imagem de treinamento

Você pode usar um script de ponto de entrada personalizado para automatizar a infraestrutura para treinar em um ambiente de produção. Se você passar o script de ponto de entrada para o contêiner do Docker, também poderá executá-lo como um script independente sem reconstruir as imagens. O SageMaker AI processa sua imagem de treinamento usando um script de ponto de entrada do contêiner do Docker.

Esta seção mostra como usar um ponto de entrada personalizado sem o uso do kit de ferramentas de treinamento. Se você quiser usar um ponto de entrada personalizado, mas não estiver familiarizado com a configuração manual de um contêiner do Docker, recomendamos que você use a biblioteca do kit de ferramentas de Treinamento do SageMaker. Para mais informações sobre como utilizar o kit de ferramentas de treino, consulte Como adaptar o próprio contêiner de treinamento.

Por padrão, o SageMaker AI procura um script chamado train dentro do contêiner. Você também pode fornecer manualmente seu próprio ponto de entrada personalizado usando os parâmetros ContainerArguments e ContainerEntrypoint da API AlgorithmSpecification.

Você tem as duas opções a seguir para configurar manualmente o contêiner do Docker para executar sua imagem.

Se você aprovar o script de treinamento de fora do contêiner do Docker, não precisará reconstruir o contêiner do Docker ao atualizar o script. Você também pode usar vários scripts diferentes para serem executados no mesmo contêiner.

Seu script de ponto de entrada deve conter o código de treinamento para sua imagem. Se você usar o parâmetro opcional source_dir dentro de um estimador, ele deverá referenciar o caminho relativo do Amazon S3 para a pasta que contém o script de ponto de entrada. Você pode referenciar vários arquivos usando o parâmetro source_dir. Se você não usar o source_dir, poderá especificar o ponto de entrada usando o parâmetro entry_point. Para ver um exemplo de um script de ponto de entrada personalizado que contém um estimador, consulte Traga seu próprio modelo com o modo de script do SageMaker AI.

É possível usar buckets de diretório do S3 Express One Zone de alto desempenho como um local de entrada de dados para o modo de arquivo, modo de arquivo rápido e modo pipe no treinamento de modelo do SageMaker AI. Você também pode usar buckets de diretório da classe S3 Express One Zone para armazenar os resultados do treinamento. Para usar o S3 Express One Zone, forneça o URI de um bucket de diretório do S3 Express One Zone em vez de um bucket de uso geral do Amazon S3. Só é possível criptografar os dados de saída do SageMaker AI em buckets de diretório com criptografia do lado do servidor com chaves gerenciadas pelo Amazon S3 (SSE-S3). No momento, a criptografia do lado do servidor com chaves do AWS KMS (SSE-KMS) não é compatível com o armazenamento de dados de saída do SageMaker AI nos buckets de diretório. Para obter mais informações, consulte S3 Express One Zone.

Execute um trabalho de treinamento com um script de ponto de entrada incluído no contêiner do Docker

O SageMaker AI pode executar um script de ponto de entrada empacotado dentro do contêiner do Docker.

Para agrupar os scripts de shell ou Python na imagem do Docker, ou para fornecer o script em um bucket do Amazon S3 ou usando a (CLI) AWS Command Line Interface, continue na seção a seguir.

Agrupe o script de shell em um contêiner do Docker

Se você quiser agrupar um script de shell personalizado em sua imagem do Docker, use as etapas a seguir.

Agrupe o script do Python em um contêiner do Docker

Para agrupar um script Python personalizado na imagem do Docker, use as etapas a seguir.

Execute um trabalho de treinamento com um script de ponto de entrada fora do contêiner do Docker

Você pode usar seu próprio contêiner do Docker para treinamento e transmitir um script de ponto de entrada de fora do contêiner do Docker. Há alguns benefícios em estruturar seu script de ponto de entrada fora do contêiner. Se você atualizar o script do ponto de entrada, você não precisará reconstruir o contêiner do Docker. Você também pode usar vários scripts diferentes para serem executados no mesmo contêiner.

Especifique a localização do seu script de treinamento usando os parâmetros ContainerEntrypoint e ContainerArguments da API AlgorithmSpecification. Esses pontos de entrada e argumentos se comportam da mesma maneira que os pontos de entrada e argumentos do Docker. Os valores nesses parâmetros substituem os correspondentes ENTRYPOINT ou CMD fornecidos como parte do contêiner do Docker.

Quando você passa o script de ponto de entrada personalizado para o contêiner de treinamento do Docker, as entradas que você fornece determinam o comportamento do contêiner.

Você pode usar qualquer fonte InputDataConfig compatível na API CreateTrainingJob para fornecer um script de ponto de entrada para executar a imagem de treinamento.

Forneça o script de ponto de entrada em um bucket do Amazon S3

Para fornecer um script de ponto de entrada personalizado usando um bucket do S3, use o parâmetro S3DataSource da API DataSource para especificar a localização do script. Se você usar o parâmetro S3DataSource, os itens a seguir serão obrigatórios:

O exemplo a seguir tem um script chamado custom_entrypoint.sh colocado em um caminho para um bucket s3://<bucket-name>/<bucket prefix>/custom_entrypoint.sh do S3.

#!/bin/bash
echo "Running custom_entrypoint.sh"
echo "Hello you have provided the following arguments: " "$@"

Em seguida, você deve definir a configuração do canal de dados de entrada para executar um trabalho de treinamento. Faça isso usando a AWS CLI diretamente ou com um arquivo JSON.

Configure o canal de dados de entrada usando AWS CLI com um arquivo JSON

Para configurar seu canal de dados de entrada com um arquivo JSON, use o AWS CLI conforme mostrado na estrutura de código a seguir. Certifique-se de que todos os campos a seguir usem a sintaxe de solicitação definida na API CreateTrainingJob.

// run-my-training-job.json
{
 "AlgorithmSpecification": { 
        "ContainerEntrypoint": ["/bin/sh"],
        "ContainerArguments": ["/opt/ml/input/data/<your_channel_name>/custom_entrypoint.sh"],
         ...
   },
  "InputDataConfig": [ 
    { 
        "ChannelName": "<your_channel_name>",
        "DataSource": { 
            "S3DataSource": { 
                "S3DataDistributionType": "FullyReplicated",
                "S3DataType": "S3Prefix",
                "S3Uri": "s3://<bucket-name>/<bucket_prefix>"
            }
        },
        "InputMode": "File",
    },
    ...]
}

Em seguida, execute o comando da AWS CLI para iniciar o trabalho de treinamento a partir do arquivo JSON da seguinte maneira:

aws sagemaker create-training-job --cli-input-json file://run-my-training-job.json

Configure o canal de dados de entrada usando a AWS CLI diretamente

Para configurar o canal de dados de entrada com um arquivo JSON, use a estrutura de código AWS CLI a seguir:

aws --region <your-region> sagemaker create-training-job \
--training-job-name <your-training-job-name> \
--role-arn <your-execution-role-arn> \
--algorithm-specification '{ \
    "TrainingInputMode": "File", \
    "TrainingImage": "<your-ecr-image>", \
    "ContainerEntrypoint": ["/bin/sh"], \
    "ContainerArguments": ["/opt/ml/input/data/<your_channel_name>/custom_entrypoint.sh"]}' \
--input-data-config '[{ \
    "ChannelName":"<your_channel_name>", \
    "DataSource":{ \
        "S3DataSource":{ \
            "S3DataType":"S3Prefix", \
            "S3Uri":"s3://<bucket-name>/<bucket_prefix>", \
            "S3DataDistributionType":"FullyReplicated"}}}]' \
--output-data-config '{"S3OutputPath": "s3://custom-entrypoint-output-bucket/"}' \
--resource-config '{"VolumeSizeInGB":10,"InstanceCount":1,"InstanceType":"ml.m5.2xlarge"}' \
--stopping-condition '{"MaxRuntimeInSeconds": 180}'