Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Apprendimento per rinforzo
Nota
La documentazione dettagliata viene fornita una volta sottoscritta
Nova Forge offre funzionalità avanzate di reinforcement learning con la possibilità di utilizzare funzioni di ricompensa remota nel proprio ambiente. I clienti possono scegliere di integrare il proprio endpoint per eseguire la convalida per un feedback immediato nel mondo reale, o persino utilizzare il proprio orchestratore per coordinare le valutazioni agentiche a più turni nel proprio ambiente.
Porta il tuo orchestratore personale per valutazioni agentiche a più turni
Per gli utenti di Forge che richiedono conversazioni a più turni o funzioni di ricompensa che superano i timeout di 15 minuti, Nova Forge offre funzionalità Bring Your Own Orchestration (BYOO). Ciò consente di coordinare le valutazioni agentiche su più turni nel proprio ambiente (ad esempio, utilizzando strumenti chimici per valutare i progetti molecolari o simulazioni robotiche che premiano il completamento efficiente delle attività e penalizzano le collisioni).
Panoramica dell’architettura
L'architettura BYOO offre il pieno controllo del processo di implementazione e generazione attraverso un'infrastruttura gestita dal cliente.
Formazione VPC:
-
Rollout: coordina la formazione delegando la generazione del rollout all'infrastruttura del cliente
-
Trainer: esegue aggiornamenti sul peso del modello in base alle implementazioni ricevute
VPC del cliente (ad esempio ECS su EC2):
-
Proxy Lambda: riceve le richieste di implementazione e si coordina con l'infrastruttura del cliente
-
Rollout Response SQS: coda per la restituzione delle implementazioni completate all'infrastruttura di formazione
-
Generate Request SQS: coda per le richieste di generazione di modelli
-
Generate Response SQS: coda per le risposte di generazione del modello
-
Customer Container: implementa una logica di orchestrazione personalizzata (può utilizzare lo starter kit fornito)
-
DynamoDB: archivia e recupera lo stato durante il processo di orchestrazione
Flusso di lavoro:
-
Rollout delega la generazione del rollout a Proxy Lambda
-
Proxy Lambda invia la richiesta API di rollout a Generate Request SQS
-
Il contenitore del cliente elabora le richieste, gestisce le interazioni a più turni e richiama le funzioni di ricompensa
-
Il contenitore archivia e recupera lo stato da DynamoDB in base alle esigenze
-
Container invia le risposte di rollout a Rollout Response SQS
-
Rollout invia le implementazioni completate a Trainer per l'aggiornamento del peso
Configurazione ed esecuzione
Per istruzioni di configurazione dettagliate, configurazioni delle ricette, formati di richiesta e risposta ed esempi di ambiente, consultate la documentazione riservata fornita agli abbonati di Nova Forge. Per ottenere i documenti di Nova Forge, procedi nel seguente modo:
aws s3 cp s3://nova-forge-c7363-206080352451-us-east-1/v1/ ./ --recursive
Una volta scaricate le risorse, puoi trovare tutta la documentazione nella docs cartella.
