Auswählen von Hyperparametern

Passen Sie die Epochen anhand der Stichprobengröße an: Die Standardanzahl an Epochen ist 2, was in den meisten Fällen ausreicht. Im Allgemeinen erfordern größere Datensätze weniger Epochen, um zu konvergieren, während kleinere Datensätze eine größere Trainings-Epoche benötigen, um zu konvergieren. Wir empfehlen Ihnen, Ihre Epochen basierend auf der Größe der Datenstichprobe anzupassen.

Prompt-Struktur: Die Optimierung der Prompt-Strategie kann die Leistung eines fein optimierten Modells verbessern. Es ist empfehlenswert, Zeit in die Optimierung der Prompt-Vorlagen bestehender Modelle zu investieren, bevor diese für die Feinabstimmung verwendet werden. Wir empfehlen Ihnen, sich an die von Amazon Nova empfohlenen bewährten Methoden zu halten, um die besten Leistungsergebnisse zu erzielen.

Steigerung der effektiven Epochen: Da der Anpassungsservice von Amazon Bedrock die Epochen auf 5 beschränkt, könnte dies zu einem unzureichenden Training bei kleineren Datensätzen führen. Daher empfehlen wir Ihnen bei kleineren Stichproben (<1 000), die Daten zu duplizieren, um die Zahl der „effektiven Epochen“ zu erhöhen. Wenn der Datensatz beispielsweise zweimal dupliziert wird, würde das Training von 5 Epochen effektiv 10 Epochen auf den Originaldaten bedeuten. Für größere Stichproben (bis zu 5 000) empfehlen wir 2 Epochen, für Stichprobengrößen über 5 000 empfehlen wir die Verwendung von 1 Epoche für eine schnellere Konvergenz.

Vermeiden Sie eine große Aufwärmzahl für kleine Stichproben: Die Lernrate steigt während der Aufwärmphase allmählich auf den eingestellten Wert an. Daher sollten Sie eine große Aufwärmzahl für eine kleine Trainingsstichprobe vermeiden, da Ihre Lernrate während des Trainingsprozesses möglicherweise nie den festgelegten Wert erreicht. Wir empfehlen, die Aufwärmschritte festzulegen, indem Sie die Datensatzgröße durch 640 für Amazon Nova Micro, 160 für Amazon Nova Lite und 320 für Amazon Nova Pro teilen und die Zahl runden.

Höhere Lernrate für kleinere Modelle: Amazon Nova Micro könnte aufgrund der effektiven Batchgröße, welche im Backend verwendet wird, von einer höheren Lernrate profitieren.

Qualität vor Quantität: Die Qualität der Trainingsdaten ist wichtiger als die Quantität. Beginnen Sie mit einem kleinen, hochwertigen Datensatz für die anfängliche Feinabstimmung und Leistungsbewertung und iterieren und erweitern Sie dann auf der Grundlage der Ergebnisse.

Datenverfeinerung: In bestimmten Anwendungsfällen kann die Bereinigung und Verbesserung der Trainingsdaten mithilfe von Amazon-Nova-Modellen von Vorteil sein. Diese verfeinerten Daten können dann verwendet werden, um kleinere Modelle effektiv zu optimieren.

Diversifizieren und erweitern: Sie können die Modellleistung verbessern, indem Sie die Variation und Vielfalt in Ihrem Anpassungsdatensatz erhöhen. Ihre Feinabstimmungs- und Bewertungsdaten sollten mit der tatsächlichen Traffic-Verteilung übereinstimmen, die das Modell sehen wird.

Destillation: Amazon Nova Lite und Amazon Nova Pro können verwendet werden, um Trainingsdaten für die Feinabstimmung von Amazon-Nova-Micro-Modellen zu generieren. Diese Methode kann sehr effektiv sein, wenn die größeren Modelle bei der Zielaufgabe bereits sehr leistungsfähig sind.

Sie über keine gekennzeichneten Daten verfügen und die größeren Modelle der Familie (auch bekannt als Lehrermodelle) für die Zielaufgabe sehr leistungsfähig sind.

Größere Modelle für die Zielaufgabe besser geeignet sind als kleinere Modelle, aber Sie die Latenz und das Kostenprofil kleinerer Modelle in Kombination mit der Genauigkeit größerer Modelle benötigen.

Sie selbst bei einem größeren Modell keine ausreichende Leistung feststellen können und das Modell eine Intelligenzlücke aufweist.

Ihr Anwendungsfall in einer sehr begrenzten Domain liegt und nicht allgemein genug ist, damit das Modell ihn erkennen kann.