Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Comment Amazon SageMaker AI fournit des informations de formation

Cette section explique comment l' SageMaker IA met les informations d'entraînement, telles que les données d'entraînement, les hyperparamètres et autres informations de configuration, à la disposition de votre conteneur Docker.

Lorsque vous envoyez une CreateTrainingJobdemande à SageMaker AI pour démarrer l'entraînement du modèle, vous spécifiez le chemin Amazon Elastic Container Registry (Amazon ECR) de l'image Docker contenant l'algorithme d'entraînement. Vous spécifiez également l'emplacement Amazon Simple Storage Service (Amazon S3) où les données d'entraînement sont stockées, ainsi que les paramètres spécifiques à l'algorithme. SageMaker L'IA met ces informations à la disposition du conteneur Docker afin que votre algorithme d'entraînement puisse les utiliser. Cette section explique comment ces informations sont rendues disponibles pour votre conteneur Docker. Pour plus d'informations sur la création d'une tâche d'entraînement, consultez CreateTrainingJob. Pour plus d'informations sur la manière dont les conteneurs SageMaker AI organisent les informations, consultezSageMaker Boîtes à outils de formation et d'inférence.

Hyperparamètres

SageMaker L'IA rend les hyperparamètres d'une CreateTrainingJob requête disponibles dans le conteneur Docker du /opt/ml/input/config/hyperparameters.json fichier.

Voici un exemple de configuration d'hyperparamètres permettant de spécifier hyperparameters.json les eta hyperparamètres num_round et dans l'CreateTrainingJobopération pour. XGBoost

{
    "num_round": "128",
    "eta": "0.001"
}            

Pour une liste complète des hyperparamètres pouvant être utilisés pour l' XGBoost algorithme intégré de l' SageMaker IA, voir XGBoostHyperparamètres.

Les hyperparamètres que vous pouvez régler dépendent de l'algorithme que vous entraînez. Pour obtenir la liste des hyperparamètres disponibles pour un algorithme intégré à l' SageMaker IA, retrouvez-les dans Hyperparamètres sous le lien de l'algorithme dans Utiliser les algorithmes intégrés ou les modèles pré-entraînés d'Amazon SageMaker AI.

Variables d'environnement

SageMaker L'IA définit les variables d'environnement suivantes dans votre conteneur :

Configuration des données d'entrée

SageMaker L'IA met les informations du canal de données contenues dans le InputDataConfig paramètre de votre CreateTrainingJob demande à disposition dans le /opt/ml/input/config/inputdataconfig.json fichier de votre conteneur Docker.

Supposons, par exemple, que vous spécifiez trois canaux de données (trainevaluation, etvalidation) dans votre demande. SageMaker AI fournit le JSON suivant :

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

Données d'entraînement

Le paramètre TrainingInputMode dans AlgorithmSpecification de la demande CreateTrainingJob spécifie comment le jeu de données d'entraînement est mis à la disposition de votre conteneur. Les modes d'entrée suivants sont disponibles.

SageMaker L'entraînement par modèle AI prend en charge les compartiments de répertoire S3 Express One Zone à hautes performances comme emplacement d'entrée de données pour le mode fichier, le mode fichier rapide et le mode tube. Pour utiliser S3 Express One Zone, entrez l'emplacement du compartiment de répertoire S3 Express One Zone au lieu d'un compartiment Amazon S3 à usage général. Fournissez l'ARN du rôle IAM avec la politique de contrôle d'accès et d'autorisation requise. Pour plus d'informations, consultez AmazonSageMakerFullAccesspolicy. Vous ne pouvez chiffrer vos données de sortie d' SageMaker IA que dans des compartiments de répertoire avec un chiffrement côté serveur avec des clés gérées par Amazon S3 (SSE-S3). Le chiffrement côté serveur à l'aide de AWS KMS clés (SSE-KMS) n'est actuellement pas pris en charge pour le stockage des données de sortie de l' SageMaker IA dans des compartiments d'annuaire. Pour plus d’informations, consultez S3 Express One Zone.

Configuration d'entraînement distribué

Si vous effectuez une formation distribuée avec plusieurs conteneurs, l' SageMaker IA rend les informations relatives à tous les conteneurs disponibles dans le /opt/ml/input/config/resourceconfig.json fichier.

Pour permettre la communication entre conteneurs, ce fichier JSON contient des informations pour tous les conteneurs. SageMaker L'IA rend ce fichier disponible pour les algorithmes à la fois File et pour les algorithmes de Pipe mode. Le fichier fournit les informations suivantes :

Voici un exemple de fichier sur le nœud 1 d'un cluster à trois nœuds :

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}