Utilisation de la formation distribuée dans AWS Clean Rooms ML

Pour exécuter une tâche de formation distribuée (console)

1. Connectez-vous à la AWS Clean Rooms console AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/cleanrooms.

2. Dans le volet de navigation de gauche, sélectionnez Collaborations.

3. Sur la page Collaborations, choisissez la collaboration pour laquelle vous souhaitez créer un modèle entraîné.

4. Une fois la collaboration ouverte, choisissez l'onglet Modèles ML.

5. Sous Modèles ML personnalisés, dans la section Modèles entraînés, sélectionnez Créer un modèle entraîné.

6. Sur la page Créer un modèle entraîné, dans Algorithme de modèle associé, spécifiez l'algorithme

7. Pour obtenir des informations sur le modèle entraîné, entrez les informations suivantes :

   1. Dans Nom, entrez un nom unique pour le modèle de la collaboration.

   2. (Facultatif) Dans Description, entrez une description du modèle entraîné.

   3. Pour le mode de saisie des données d'entraînement, choisissez l'une des options suivantes :

      • Sélectionnez Fichier si vous disposez d'un ensemble de données plus petit pouvant tenir sur le volume de stockage ML et si vous préférez un accès au système de fichiers traditionnel pour votre script de formation.

      • Sélectionnez Pipe pour les grands ensembles de données afin de diffuser des données directement depuis S3, évitant ainsi d'avoir à tout télécharger sur disque, ce qui peut améliorer la vitesse d'entraînement et réduire les besoins en stockage.

      • Choisissez FastFilesi vous souhaitez combiner les avantages du streaming depuis S3 avec l'accès au système de fichiers, en particulier pour la lecture séquentielle des données ou lorsque vous traitez moins de fichiers pour des temps de démarrage plus rapides.

8. Pour plus de détails sur le canal d'entrée ML, procédez comme suit :

   1. Pour le canal d'entrée ML, spécifiez le canal d'entrée ML qui fournit des données à l'algorithme du modèle.

      Pour ajouter un autre canal, choisissez Ajouter un autre canal d'entrée ML. Vous pouvez ajouter jusqu'à 19 canaux d'entrée ML supplémentaires.

   2. Dans Nom du canal, entrez le nom du canal d'entrée ML.

   3. Pour le type de distribution de données Amazon S3, choisissez l'une des options suivantes :

      • Sélectionnez Entièrement répliqué pour fournir à chaque instance de formation une copie complète de votre ensemble de données. Cela fonctionne mieux lorsque votre ensemble de données est suffisamment petit pour tenir en mémoire ou lorsque chaque instance doit accéder à toutes les données.

      • Sélectionnez Sharded by S3 key pour diviser votre ensemble de données entre les instances d'entraînement en fonction des clés S3. Chaque instance reçoit environ 1/n du total des objets S3, où « n » est le nombre d'instances. Cela fonctionne mieux pour les grands ensembles de données que vous souhaitez traiter en parallèle.

      Note

      Tenez compte de la taille de votre jeu de données et des exigences de formation lors de la sélection d'un type de distribution. La réplication complète fournit un accès complet aux données mais nécessite davantage de stockage, tandis que la clé Sharded by S3 permet le traitement distribué de grands ensembles de données.

9. Pour Durée d'entraînement maximale, choisissez la durée maximale pendant laquelle vous souhaitez entraîner votre modèle.

10. Pour les hyperparamètres, spécifiez les paramètres spécifiques à l'algorithme et leurs valeurs prévues. Les hyperparamètres sont spécifiques au modèle en cours d'entraînement et sont utilisés pour affiner l'entraînement du modèle.

11. Pour les variables d'environnement, spécifiez les variables spécifiques à l'algorithme et leurs valeurs prévues. Les variables d'environnement sont définies dans le conteneur Docker.

12. Pour le chiffrement, pour utiliser une option personnalisée AWS KMS key, cochez la case Chiffrer le secret avec une clé KMS personnalisée.

13. Pour Configuration EC2 des ressources, spécifiez les informations relatives aux ressources de calcul utilisées pour l'entraînement des modèles.

    1. Dans Type d'instance, choisissez le type d'instance que vous souhaitez exécuter.

       Les types d'instances pris en charge pour la formation distribuée sont les suivants :

       • ml.m5.4xlarge

       • ml.m5.12xlarge

       • ml.m5.2xlarge

       • ml.g5.12xlarge

       • ml.g5.24xlarge

    2. Dans Nombre d'instances, entrez le nombre d'instances.

    3. Pour Taille du volume en Go, entrez la taille du volume de stockage ML.

14. Choisissez Créer un modèle entraîné.