View a markdown version of this page

Apprentissage par renforcement - Amazon Nova
Apportez votre propre orchestrateur pour des évaluations agentiques en plusieurs étapes

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Apprentissage par renforcement

Note

Une documentation détaillée est fournie une fois inscrit

Nova Forge fournit des fonctionnalités avancées d'apprentissage par renforcement avec la possibilité d'utiliser des fonctions de récompense à distance dans votre propre environnement. Les clients peuvent choisir d'intégrer leur propre terminal pour exécuter la validation afin d'obtenir un retour d'information immédiat dans le monde réel, ou même d'utiliser leur propre orchestrateur pour coordonner des évaluations agentiques en plusieurs étapes dans votre environnement.

Apportez votre propre orchestrateur pour des évaluations agentiques en plusieurs étapes

Nova Forge propose des fonctionnalités BYOO (Bring Your Own Orchestration) aux utilisateurs de Forge qui ont besoin de conversations en plusieurs tours ou de fonctions de récompense dépassant les 15 minutes. Cela vous permet de coordonner des évaluations agentiques multitours dans votre environnement (par exemple, en utilisant des outils de chimie pour évaluer des modèles moléculaires, ou des simulations robotiques qui récompensent l'exécution efficace des tâches et pénalisent les collisions).

Présentation de l’architecture

L'architecture BYOO fournit un contrôle total sur le processus de déploiement et de génération via une infrastructure gérée par le client.

Formation VPC :

  • Déploiement  : coordonne la formation en déléguant la génération du déploiement à l'infrastructure du client

  • Entraîneur  : effectue des mises à jour du poids du modèle en fonction des déploiements reçus

VPC client (tel qu'ECS sur EC2) :

  • Proxy Lambda  : reçoit les demandes de déploiement et coordonne avec l'infrastructure du client

  • Rollout Response SQS  : file d'attente pour renvoyer les déploiements terminés vers l'infrastructure de formation

  • Generate Request SQS  : file d'attente pour les demandes de génération de modèles

  • Generate Response SQS  : file d'attente pour les réponses de génération de modèles

  • Conteneur client  : implémente une logique d'orchestration personnalisée (peut utiliser le kit de démarrage fourni)

  • DynamoDB  : stocke et récupère l'état tout au long du processus d'orchestration

Flux de travail :

  1. Le déploiement délègue la génération du déploiement à Proxy Lambda

  2. Proxy Lambda envoie une demande d'API de déploiement pour générer une demande SQS

  3. Le conteneur client traite les demandes, gère les interactions multi-tours et appelle les fonctions de récompense

  4. Le conteneur stocke et extrait l'état de DynamoDB selon les besoins

  5. Container transmet les réponses de déploiement à Rollout Response SQS

  6. Rollout envoie les déploiements terminés à Trainer pour des mises à jour sur le poids

Configuration et exécution

Pour des instructions de configuration détaillées, des configurations de recettes, des formats de demande et de réponse et des exemples d'environnement, reportez-vous à la documentation confidentielle fournie aux abonnés de Nova Forge. Pour obtenir les documents de Nova Forge, suivez les étapes ci-dessous :

aws s3 cp s3://nova-forge-c7363-206080352451-us-east-1/v1/ ./ --recursive

Une fois les ressources téléchargées, vous trouverez toute la documentation dans le docs dossier.