Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Apprendimento per rinforzo
Nota
La documentazione dettagliata viene fornita una volta sottoscritta
Nova Forge offre funzionalità avanzate di reinforcement learning con la possibilità di utilizzare le funzioni di ricompensa remote nel proprio ambiente. I clienti possono scegliere di integrare il proprio endpoint per eseguire la convalida e ottenere un feedback immediato nel mondo reale, o persino utilizzare il proprio orchestrator per coordinare le valutazioni agentiche a più turni nel proprio ambiente.
Porta il tuo orchestrator per valutazioni agentiche a più turni
Per gli utenti di Forge che richiedono conversazioni a più turni o funzioni di ricompensa che superino i 15 minuti di timeout, Nova Forge offre funzionalità Bring Your Own Orchestration (BYOO). Ciò consente di coordinare le valutazioni agentiche a più turni nel proprio ambiente (ad esempio, utilizzando strumenti di chimica per valutare i progetti molecolari o simulazioni robotiche che premiano il completamento efficiente delle attività e penalizzano le collisioni).
Panoramica dell’architettura
L'architettura BYOO offre il pieno controllo del processo di implementazione e generazione tramite un'infrastruttura gestita dal cliente.
Formazione VPC:
-
Rollout: coordina la formazione delegando la generazione del rollout all'infrastruttura del cliente
-
Trainer: esegue gli aggiornamenti del peso del modello in base alle implementazioni ricevute
VPC per i clienti (ad esempio ECS su EC2):
-
Proxy Lambda: riceve le richieste di implementazione e si coordina con l'infrastruttura del cliente
-
Rollout Response SQS: coda per la restituzione delle implementazioni completate all'infrastruttura di formazione
-
Generate Request SQS: coda per le richieste di generazione di modelli
-
Genera risposta SQS: coda per le risposte di generazione del modello
-
Customer Container: implementa una logica di orchestrazione personalizzata (può utilizzare lo starter kit fornito)
-
DynamoDB: archivia e recupera lo stato durante il processo di orchestrazione
Flusso di lavoro:
-
Rollout delega la generazione del rollout a Proxy Lambda
-
Proxy Lambda invia la richiesta API di rollout a Generate Request SQS
-
Customer Container elabora le richieste, gestisce le interazioni a più turni e richiama le funzioni di ricompensa
-
Container archivia e recupera lo stato da DynamoDB in base alle necessità
-
Container invia le risposte di rollout a Rollout Response SQS
-
Rollout invia le implementazioni completate a Trainer per gli aggiornamenti del peso
Configurazione ed esecuzione
Per istruzioni di configurazione dettagliate, configurazioni delle ricette, formati di richiesta e risposta ed esempi di ambiente, fate riferimento alla documentazione riservata fornita agli abbonati di Nova Forge. Per ottenere i documenti di Nova Forge, procedi nel seguente modo:
aws s3 cp s3://nova-forge-c7363-206080352451-us-east-1/v1/ ./ --recursive
Una volta scaricate le risorse, puoi trovare tutta la documentazione nella docs cartella.
