Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Reinforcement Learning
Anmerkung
Eine ausführliche Dokumentation wird nach dem Abonnement bereitgestellt
Nova Forge bietet erweiterte Funktionen für verstärktes Lernen mit der Option, Belohnungsfunktionen aus der Ferne in Ihrer eigenen Umgebung zu verwenden. Kunden können wählen, ob sie ihren eigenen Endpunkt integrieren, um die Validierung durchzuführen und sofort Feedback aus der Praxis zu erhalten, oder sie können sogar ihren eigenen Orchestrator verwenden, um agentische Multi-Turn-Evaluierungen in Ihrer Umgebung zu koordinieren.
Bringen Sie Ihren eigenen Orchestrator für agentische Multi-Turn-Evaluierungen mit
Für Forge-Benutzer, die Multi-Turn-Konversationen oder Belohnungsfunktionen benötigen, die 15 Minuten überschreiten, bietet Nova Forge BYOO-Funktionen (Bring Your Own Orchestration). Auf diese Weise können Sie in Ihrer Umgebung agentische Multi-Turn-Evaluierungen koordinieren (z. B. mithilfe von chemischen Tools zur Bewertung molekularer Designs oder durch Robotiksimulationen, die die effiziente Erledigung von Aufgaben belohnen und Kollisionen bestrafen).
Übersicht über die Architektur
Die BYOO-Architektur bietet über eine vom Kunden verwaltete Infrastruktur die volle Kontrolle über den Rollout- und Generierungsprozess.
Schulung VPC:
-
Rollout: Koordiniert die Schulung, indem die Erstellung des Rollouts an die Kundeninfrastruktur delegiert wird
-
Trainer: Führt auf der Grundlage der eingegangenen Rollouts Aktualisierungen der Modellgewichte durch
Kunden-VPC (z. B. ECS auf EC2):
-
Proxy Lambda: Empfängt Rollout-Anfragen und koordiniert diese mit der Kundeninfrastruktur
-
Rollout Response SQS: Warteschlange für die Rückgabe abgeschlossener Rollouts an die Trainingsinfrastruktur
-
Generate Request SQS: Warteschlange für Anfragen zur Modellgenerierung
-
Generate Response SQS: Warteschlange für Antworten zur Modellgenerierung
-
Kundencontainer: Implementiert eine benutzerdefinierte Orchestrierungslogik (kann das mitgelieferte Starterkit verwenden)
-
DynamoDB: Speichert und ruft den Status des gesamten Orchestrierungsprozesses ab
Arbeitsablauf:
-
Rollout delegiert die Rollout-Generierung an Proxy Lambda
-
Proxy Lambda leitet die Rollout-API-Anfrage an Generate Request SQS weiter
-
Der Kundencontainer verarbeitet Anfragen, verwaltet Interaktionen mit mehreren Runden und ruft Belohnungsfunktionen auf
-
Der Container speichert und ruft bei Bedarf den Status von DynamoDB ab
-
Der Container leitet Rollout-Antworten an Rollout Response SQS weiter
-
Rollout sendet abgeschlossene Rollouts zur Gewichtsaktualisierung an den Trainer
Einrichtung und Ausführung
Detaillierte Anweisungen zur Einrichtung, Rezeptkonfigurationen, Anfrage- und Antwortformate sowie Umgebungsbeispiele finden Sie in der vertraulichen Dokumentation, die Nova Forge-Abonnenten zur Verfügung gestellt wird. Gehen Sie wie folgt vor, um die Nova Forge-Dokumente zu erhalten:
aws s3 cp s3://nova-forge-c7363-206080352451-us-east-1/v1/ ./ --recursive
Sobald die Assets heruntergeladen wurden, finden Sie die gesamte Dokumentation unter dem docs Ordner.
