Quels sont les environnements de service dans AWS Batch - AWS Batch

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Quels sont les environnements de service dans AWS Batch

Un environnement de service est une AWS Batch ressource qui contient les paramètres de configuration nécessaires à l'intégration AWS Batch à l' SageMaker IA. Les environnements de service permettent AWS Batch de soumettre et de gérer les tâches de SageMaker formation tout en fournissant des AWS Batch fonctionnalités de gestion des files d'attente, de planification et des priorités.

Les environnements de service répondent aux défis courants auxquels sont confrontées les équipes de data science lorsqu'elles gèrent des charges de travail liées au machine learning. Organisations limitent souvent le nombre d'instances disponibles pour les modèles de formation afin d'éviter les dépenses excessives accidentelles, de respecter les contraintes budgétaires, de réduire les coûts grâce aux instances réservées ou d'utiliser des types d'instances spécifiques pour les charges de travail. Cependant, les data scientists peuvent souhaiter exécuter plus de charges de travail simultanément que ce qui est possible avec les instances qui leur sont allouées, ce qui nécessite une coordination manuelle pour décider quelles charges de travail s'exécutent et quand.

Ce défi de coordination concerne les organisations de toutes tailles, qu'il s'agisse d'équipes ne comptant que quelques data scientists ou d'opérations à grande échelle. À mesure que les entreprises se développent, la complexité augmente, ce qui nécessite plus de temps pour gérer la coordination de la charge de travail et nécessite souvent l'intervention de l'administrateur de l'infrastructure. Ces efforts manuels font perdre du temps et réduisent l'efficacité des instances, ce qui entraîne des coûts réels pour les clients.

Grâce aux environnements de service, les data scientists et les ingénieurs ML peuvent soumettre des tâches de SageMaker formation prioritaires à des files d'attente configurables, garantissant ainsi l'exécution automatique des charges de travail sans intervention dès que les ressources sont disponibles. Cette intégration tire parti des fonctionnalités étendues AWS Batch de mise en file d'attente et de planification, permettant aux clients de personnaliser leurs politiques de mise en file d'attente et de planification en fonction des objectifs de leur organisation.

Comment les environnements de service fonctionnent avec les autres AWS Batch composants

Les environnements de service s'intègrent à d'autres AWS Batch composants pour permettre la mise en file d'attente des tâches de SageMaker formation :

  • Files d'attente de tâches : les environnements de service sont associés aux files d'attente de tâches pour permettre à la file d'attente de traiter les tâches de service pour les SageMaker tâches de formation

  • Tâches de service : lorsque vous soumettez une tâche de service à une file d'attente associée à un environnement de service AWS Batch , utilisez la configuration de l'environnement pour soumettre la tâche de SageMaker formation correspondante

  • Politiques de planification - Les environnements de service fonctionnent avec AWS Batch des politiques de planification pour hiérarchiser et gérer l'ordre d'exécution des tâches de SageMaker formation

Cette intégration vous permet de tirer parti des fonctionnalités AWS Batchéprouvées de mise en file d'attente et de planification tout en conservant les fonctionnalités complètes et la flexibilité des tâches de SageMaker formation.

Bonnes pratiques pour les environnements de service

Les environnements de service fournissent des fonctionnalités permettant de gérer les tâches de SageMaker formation à grande échelle. Le respect de ces meilleures pratiques vous permet d'optimiser les coûts, les performances et l'efficacité opérationnelle tout en évitant les problèmes de configuration courants qui peuvent avoir un impact sur vos flux de travail d'apprentissage automatique.

Lorsque vous planifiez la capacité de l'environnement de service, tenez compte des quotas et limites spécifiques qui s'appliquent à la mise en file d'attente des tâches de SageMaker formation. Chaque environnement de service possède une limite de capacité maximale exprimée en nombre d'instances, qui contrôle directement le nombre de tâches de SageMaker formation pouvant être exécutées simultanément. La compréhension de ces limites permet d'éviter la saturation des ressources et de garantir des délais d'exécution des tâches prévisibles.

La performance optimale de l'environnement de service dépend de la compréhension des caractéristiques uniques de la planification des tâches de SageMaker formation. Contrairement aux emplois conteneurisés traditionnels, les emplois de service passent par un SCHEDULED État tandis que l' SageMaker IA acquiert et fournit les instances de formation nécessaires. Cela signifie que les heures de début des tâches peuvent varier considérablement en fonction de la disponibilité des instances et de la capacité régionale.

Important

Les environnements de service ont des quotas spécifiques qui peuvent avoir un impact sur votre capacité à faire évoluer les charges de travail de SageMaker formation. Vous pouvez créer jusqu'à 50 environnements de service par compte, chaque file d'attente de tâches ne prenant en charge qu'un seul environnement de service associé. En outre, la charge utile des demandes de service pour les tâches individuelles est limitée à 10 KiB, et l'SubmitServiceJobAPI est limitée à 5 transactions par seconde et par compte. La compréhension de ces limites lors de la planification des capacités permet d'éviter les contraintes de dimensionnement inattendues.

Une surveillance efficace des environnements de service nécessite une attention particulière à la fois aux indicateurs AWS Batch des services fournis par l' SageMaker IA. Les transitions d'état de poste fournissent des informations précieuses sur les performances du système, en particulier le temps passé dans SCHEDULED l'état, qui indique les modèles de disponibilité des capacités. Les environnements de service conservent leurs propres états de cycle de vie, similaires à ceux des environnements informatiquesCREATING, passant parVALID,INVALID, et DELETING des états dont l'état de fonctionnement doit être surveillé. Organisations dotées de pratiques de surveillance éprouvées suivent généralement la profondeur des files d'attente, le taux d'achèvement des tâches et les modèles d'utilisation des instances afin d'optimiser la configuration de leur environnement de service au fil du temps.