Proximal Policy Optimization (PPO)

Akteurtrainings- oder Richtlinienmodell: Ein Modell der überwachten Optimierung (SFT), das in jeder Epoche optimiert und aktualisiert wird. Die Aktualisierungen erfolgen durch Stichproben von Prompts, Generierung von Vervollständigungen und Aktualisierung der Gewichtungen unter Verwendung eines beschnittenen Ersatzziels. Dadurch wird die Veränderung der Protokollrentabilität pro Token begrenzt, sodass jeder Richtlinienschritt nahe am vorherigen liegt und die Stabilität des Trainings gewahrt bleibt.

Modell zur Akteurgenerierung: Ein Modell, das Prompt-Ausführungen oder -Antworten generiert, die anhand des Belohnungs- und des kritischen Modells bewertet werden. Die Gewichtungen dieses Modells werden in jeder Epoche anhand des Akteurtrainings- oder Richtlinienmodells aktualisiert.

Belohnungsmodell: Ein Modell mit eingefrorenen Gewichtungen, das zur Bewertung des Modells zur Akteurgenerierung verwendet wird.

Kritisches Modell: Ein Modell mit nicht eingefrorenen Gewichtungen, das zur Bewertung des Modells zur Akteurgenerierung verwendet wird. Diese Bewertung wird oft als Schätzung der Gesamtbelohnung angesehen, die der Akteur erhält, wenn er die verbleibenden Token generiert.

Ankermodell: Ein SFT-Modell mit eingefrorenen Gewichtungen, das zur Berechnung der KL-Divergenz zwischen dem Akteurtrainingsmodell und dem Basismodell verwendet wird. Das Ankermodell stellt sicher, dass die Aktualisierungen des Akteurmodells im Vergleich zum Basismodell nicht zu drastisch ausfallen. Drastische Änderungen können zu Instabilität oder Leistungseinbußen führen.

turns ist ein Array von Konversationszeichenfolgen-Arrays, die die Dialogsequenz darstellen. Diese Zeile enthält System-Prompts, Benutzernachrichten und Bot-Antworten. Benutzernachrichten enden normalerweise mit „Bot:“, um anzugeben, wo die Modellausgabe beginnt. Beispiel, [["System prompt"], ["User: Question Bot:"], ["Bot response"]].

turns_to_mask ist ein Array von 0-basierten Indizes, die angeben, für welche Züge keine Gradientenaktualisierungen vorgenommen werden sollen. Bei den maskierten Zügen handelt es sich in der Regel um System-Prompts und Benutzerzüge. [0, 1, 3] maskiert beispielsweise System-Prompts und Benutzernachrichten (die erste und dritte Nachricht).

reward_category ist eine Zeichenfolge, die angibt, welche Aspekte der Modellleistung bewertet werden sollen. Sie wird verwendet, um während des Trainings die passende Belohnungsmodellkategorie auszuwählen. Die folgenden Belohnungskategorien sind verfügbar: default, math, coding, if, rag und rai.

meta_data ist ein optionales Objekt, das zusätzliche Kontext- oder Ground-Truth-Informationen enthält. Dies kann Identifikatoren, Quellinformationen oder Konversationskontext beinhalten. Die Struktur ist je nach Ihren Datensatzanforderungen flexibel.

default: Ein Allzweck-Optimierer für Standard-Konversationsaufgaben und grundlegende Interaktionen. Wird für allgemeine Konversationen und Diskussionen, grundlegende Schreibaufgaben, die Beantwortung einfacher Fragen und nicht spezialisierte Wissensabfragen verwendet.

Ein Beispiel:

{
    "turns": ["Write a summary of climate change"],
    "turns_to_mask": [0],
    "reward_category": "default"
}

math: Ein spezialisierter Optimierer für mathematische Berechnungen und numerische Überlegungen. Wird für mathematische Problemlösungen, arithmetische Berechnungen, algebraische Gleichungen, geometrische Probleme und statistische Analysen verwendet.

Ein Beispiel:

{
    "turns": ["Calculate the derivative of x²"],
    "turns_to_mask": [0],
    "reward_category": "math"
}

coding: Eine spezielle Kategorie für Abfragen im Zusammenhang mit der Programmierung und Softwareentwicklung. Wird für Codeimplementierung, Unterstützung beim Debuggen, Algorithmusdesign, technische Dokumentation und Fragen zur Systemarchitektur verwendet.

Ein Beispiel:

{
    "turns": ["Write a function to check if a string is palindrome"],
    "turns_to_mask": [0],
    "reward_category": "coding"
}

if: Eine Kategorie für Aufgaben, die eine präzise prozedurale Ausführung und eine schrittweise Anleitung erfordern. Wird für mehrstufige Verfahren, sequentielle Anweisungen, die Zerlegung komplexer Aufgaben und die Prozessdokumentation verwendet.

Ein Beispiel:

{
    "turns": ["Provide steps to deploy a web application"],
    "turns_to_mask": [0],
    "reward_category": "if"
}

rag: Eine Belohnungskategorie für Aufgaben, bei denen Abfragen speziell auf der Grundlage von abgerufenen Kontextinformationen beantwortet werden müssen. Wird verwendet, wenn Antworten direkt aus bereitgestellten Referenzmaterialien abgeleitet werden sollen, indem sachliche Inhalte zusammengefasst werden, ohne über die abgerufenen Informationen hinauszugehen. Dadurch wird sichergestellt, dass die Antworten auf dem bereitgestellten Kontext und nicht auf allgemeinem Wissen basieren.

Ein Beispiel:

{
            "turns": ["The Synthesis Report integrates findings from all six IPCC assessment cycles, revealing that global surface temperature has increased 1.1°C from 1850-1900 to 2011-2020, with human activities unequivocally identified as the cause of this warming. Alarmingly, current policies put the world on track for 3.2°C warming by 2100. The document identifies 5 key climate system "tipping points" approaching and emphasizes that greenhouse gas emissions must decline 43% by 2030 (compared to 2019 levels) to limit warming to 1.5°C. Climate-related risks will escalate with every increment of warming, with loss and damage disproportionately affecting vulnerable populations. Despite some progress, climate adaptation remains uneven with significant gaps, and financial flows continue to fall below levels needed for mitigation goals.",
            "What were the key findings of the latest IPCC climate report?"],
            "turns_to_mask": [0, 0],
            "reward_category": "rag"
            }

rai: Eine Belohnungskategorie für Aufgaben, die die Anwendung von Prinzipien verantwortungsvoller KI wie Fairness, Transparenz und Ethik erfordern. Wird verwendet, um mögliche Vorurteile in KI-Systemen zu bewerten, Datenschutzaspekte sicherzustellen, ethische Dilemmas anzugehen und inklusive Gestaltungsprinzipien zu fördern.

Ein Beispiel:

{
            "turns": ["Identify potential bias concerns when developing a loan approval algorithm and suggest mitigation strategies"],
            "turns_to_mask": [0],
            "reward_category": "rai"
            }

Index 0 immer maskieren – System-Prompts sollten niemals Gradientenaktualisierungen erhalten.

Benutzerzüge immer maskieren – So wird verhindert, dass das Modell lernt, Benutzereingaben zu generieren.

Musterkonsistenz – Verwenden Sie identische Maskierungsmuster für ähnliche Konversationsstrukturen, z. B. (0, 1, 3, 5) für Dialoge mit mehreren Zügen.

Selektives Training – Maskieren Sie frühe Bot-Antworten, um das Training auf verbesserte Endreaktionen zu konzentrieren.

Beibehaltung der Gedankenkette – Maskieren Sie System- und Benutzerzüge nur beim Training mit Argumentationssequenzen.

Qualitätsfilterung – Maskieren Sie qualitativ minderwertige Assistentenantworten, um Leistungseinbußen zu vermeiden.

Kontextoptimierung – Stellen Sie sicher, dass durch maskierte Züge nicht der für nachfolgende Antworten benötigte Kontext entfernt wird.

Ausführungskonfiguration

Akteurtrainingskonfiguration (Richtlinienkonfiguration)

Konfiguration des Belohnungsmodells

Konfiguration des kritischen Modells

Konfiguration des Ankermodells

Konfiguration des Modells zur Akteurgenerierung

Zwischen-Checkpoints werden nicht zur Bewertung gespeichert und Sie können nicht von einem Zwischen-Checkpoint aus fortfahren. Nur der letzte Checkpoint wird gespeichert.

Multimodale Datensätze werden nicht unterstützt.

Trainingsjobs werden nicht automatisch beendet. Sie müssen den Job mit der HyperPod-CLI beenden.

Die MLflow-Protokollierung wird nicht unterstützt.

Metriken für kritisches Training werden auf TensorBoard nicht unterstützt.

Folgen Sie den Anweisungen unter Auswählen von Hyperparametern, um die Hyperparameter anzupassen.