Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Hyperparameter für benutzerdefinierte Modelle
Der folgende Referenzinhalt behandelt die Hyperparameter, die für das Training der einzelnen benutzerdefinierten Amazon-Bedrock-Modelle verfügbar sind.
Ein Hyperparameter ist ein Parameter, der den Trainingsprozess steuert, z. B. die Lernrate oder die Anzahl der Epochen. Sie legen Hyperparameter für das Training benutzerdefinierter Modelle fest, wenn Sie den Feinabstimmungsauftrag mit der Amazon Bedrock-Konsole oder durch Aufrufen der CreateModelCustomizationJobAPI-Operation einreichen.
Die Amazon Nova Lite-Amazon Nova Micro- und Amazon Nova Pro-Modelle unterstützen die folgenden drei Hyperparameter zur Anpassung des Modells. Weitere Informationen finden Sie unter Anpassen des Modells für eine bessere Leistung im jeweiligen Anwendungsfall.
Informationen zur Optimierung der Amazon-Nova-Modelle finden Sie unter Optimierung von Amazon Nova-Modellen.
Durch die Anzahl der angegebenen Epochen erhöhen sich die Kosten für die Modellanpassung, da mehr Token verarbeitet werden. Jede Epoche verarbeitet den gesamten Trainingsdatensatz einmal. Weitere Informationen zur Preisgestaltung finden Sie unter Amazon Bedrock – Preise
| Hyperparameter (Konsole) | Hyperparameter (API) | Definition | Typ | Minimum | Maximum | Standard |
|---|---|---|---|---|---|---|
| Epochen | epochCount | Die Anzahl der Iterationen durch den gesamten Trainingsdatensatz | Ganzzahl | 1 | 5 | 2 |
| Lernrate | learningRate | Die Geschwindigkeit, mit der Modellparameter nach jedem Batch aktualisiert werden | float | 1.00E-6 | 1.00E-4 | 1.00E-5 |
| Aufwärmschritte für die Lernrate | learningRateWarmupSchritte | Die Anzahl der Iterationen, mit denen die Lernrate schrittweise auf die angegebene Rate erhöht wird | Ganzzahl | 0 | 100 | 10 |
Die Standardepochenanzahl lautet 2 und ist für die meisten Fällen gut geeignet. Im Allgemeinen benötigen größere Datensätze weniger Epochen zum Konvergieren und kleinere Datensätze mehr Epochen. Eine schnellere Konvergenz könnte auch durch eine Erhöhung der Lernrate erreicht werden, was jedoch weniger wünschenswert ist, da dies zu einer Instabilität im Konvergenztraining führen könnte. Wir empfehlen, mit den Standard-Hyperparametern zu beginnen, die auf unserer Bewertung verschiedener Aufgaben mit unterschiedlicher Komplexität und Datenmenge basieren.
Die Lernrate wird beim Aufwärmen allmählich auf den eingestellten Wert steigen. Daher sollten Sie eine große Aufwärmzahl für eine kleine Trainingsstichprobe vermeiden, da Ihre Lernrate während des Trainingsprozesses möglicherweise nie den festgelegten Wert erreicht. Wir empfehlen, für die Festlegung der Aufwärmstufen die Datensatzgröße für Amazon Nova Micro durch 640, für Amazon Nova Lite durch 160 und für Amazon Nova Pro durch 320 zu dividieren.
Das Amazon Nova Canvas-Modell unterstützt die folgenden Hyperparameter für die Modellanpassung.
| Hyperparameter (Konsole) | Hyperparameter (API) | Definition | Minimum | Maximum | Standard |
|---|---|---|---|---|---|
| Batch-Größe | batchSize | Anzahl der Stichproben, die vor der Aktualisierung der Modellparameter verarbeitet wurden | 8 | 192 | 8 |
| Schritte | stepCount | Häufigkeit, mit der das Modell den einzelnen Batches ausgesetzt wurde | 10 | 20 000 | 500 |
| Lernrate | learningRate | Geschwindigkeit, mit der Modellparameter nach jedem Batch aktualisiert werden | 1.00E-7 | 1.00E-4 | 1.00E-5 |
Das Modell von Amazon Titan Text Premier unterstützt die folgenden Hyperparameter zur Anpassung des Modells. Durch die Anzahl der angegebenen Epochen erhöhen sich die Kosten für die Modellanpassung, da mehr Token verarbeitet werden. Jede Epoche verarbeitet den gesamten Trainingsdatensatz einmal. Weitere Informationen zur Preisgestaltung finden Sie unter Amazon Bedrock – Preise
| Hyperparameter (Konsole) | Hyperparameter (API) | Definition | Typ | Minimum | Maximum | Standard |
|---|---|---|---|---|---|---|
| Epochen | epochCount | Die Anzahl der Iterationen durch den gesamten Trainingsdatensatz | Ganzzahl | 1 | 5 | 2 |
| Batchgröße (Mikro) | batchSize | Die Anzahl der Stichproben, die vor der Aktualisierung der Modellparameter verarbeitet wurden | Ganzzahl | 1 | 1 | 1 |
| Lernrate | learningRate | Die Geschwindigkeit, mit der Modellparameter nach jedem Batch aktualisiert werden | float | 1.00E-07 | 1.00E-05 | 1.00E-06 |
| Aufwärmschritte für die Lernrate | learningRateWarmupSchritte | Die Anzahl der Iterationen, mit denen die Lernrate schrittweise auf die angegebene Rate erhöht wird | Ganzzahl | 0 | 20 | 5 |
Modelle von Amazon Titan Text wie Lite und Express unterstützen die folgenden Hyperparameter für die Modellanpassung. Durch die Anzahl der angegebenen Epochen erhöhen sich die Kosten für die Modellanpassung, da mehr Token verarbeitet werden. Jede Epoche verarbeitet den gesamten Trainingsdatensatz einmal. Weitere Informationen zur Preisgestaltung finden Sie unter Amazon Bedrock – Preise
| Hyperparameter (Konsole) | Hyperparameter (API) | Definition | Typ | Minimum | Maximum | Standard |
|---|---|---|---|---|---|---|
| Epochen | epochCount | Die Anzahl der Iterationen durch den gesamten Trainingsdatensatz | Ganzzahl | 1 | 10 | 5 |
| Batchgröße (Mikro) | batchSize | Die Anzahl der Stichproben, die vor der Aktualisierung der Modellparameter verarbeitet wurden | Ganzzahl | 1 | 64 | 1 |
| Lernrate | learningRate | Die Geschwindigkeit, mit der Modellparameter nach jedem Batch aktualisiert werden | float | 0.0 | 1 | 1.00E-5 |
| Aufwärmschritte für die Lernrate | learningRateWarmupSchritte | Die Anzahl der Iterationen, mit denen die Lernrate schrittweise auf die angegebene Rate erhöht wird | Ganzzahl | 0 | 250 | 5 |
Das Modell von Amazon Titan Image Generator G1 unterstützt die folgenden Hyperparameter zur Anpassung des Modells.
Anmerkung
stepCount hat keinen Standardwert und muss angegeben werden. stepCount unterstützt den Wert auto. In auto wird die Modellleistung gegenüber den Trainingskosten priorisiert, indem automatisch eine Anzahl auf der Grundlage der Datensatzgröße bestimmt wird. Die Kosten für den Trainingsjob hängen von der Anzahl ab, die vom Wert auto bestimmt wird. Informationen zur Berechnung der Auftragskosten und Beispiele finden Sie unter Amazon-Bedrock-Preise
| Hyperparameter (Konsole) | Hyperparameter (API) | Definition | Minimum | Maximum | Standard |
|---|---|---|---|---|---|
| Batch-Größe | batchSize | Anzahl der Stichproben, die vor der Aktualisierung der Modellparameter verarbeitet wurden | 8 | 192 | 8 |
| Schritte | stepCount | Häufigkeit, mit der das Modell den einzelnen Batches ausgesetzt wurde | 10 | 40 000 | – |
| Lernrate | learningRate | Geschwindigkeit, mit der Modellparameter nach jedem Batch aktualisiert werden | 1.00E-7 | 1 | 1.00E-5 |
Das Amazon Titan Multimodal Embeddings G1-Modell unterstützt die folgenden Hyperparameter zur Anpassung des Modells. Durch die Anzahl der angegebenen Epochen erhöhen sich die Kosten für die Modellanpassung, da mehr Token verarbeitet werden. Jede Epoche verarbeitet den gesamten Trainingsdatensatz einmal. Weitere Informationen zur Preisgestaltung finden Sie unter Amazon Bedrock – Preise
Anmerkung
epochCount hat keinen Standardwert und muss angegeben werden. epochCount unterstützt den Wert Auto. In Auto wird die Modellleistung gegenüber den Trainingskosten priorisiert, indem automatisch eine Anzahl auf der Grundlage der Datensatzgröße bestimmt wird. Die Kosten für den Trainingsjob hängen von der Anzahl ab, die vom Wert Auto bestimmt wird. Informationen zur Berechnung der Auftragskosten und Beispiele finden Sie unter Amazon-Bedrock-Preise
| Hyperparameter (Konsole) | Hyperparameter (API) | Definition | Typ | Minimum | Maximum | Standard |
|---|---|---|---|---|---|---|
| Epochen | epochCount | Die Anzahl der Iterationen durch den gesamten Trainingsdatensatz | Ganzzahl | 1 | 100 | – |
| Batch-Größe | batchSize | Die Anzahl der Stichproben, die vor der Aktualisierung der Modellparameter verarbeitet wurden | Ganzzahl | 256 | 9 216 | 576 |
| Lernrate | learningRate | Die Geschwindigkeit, mit der Modellparameter nach jedem Batch aktualisiert werden | float | 5,00E-8 | 1 | 5,00E-5 |
Anthropic-Claude-3-Modelle unterstützen die folgenden Hyperparameter zur Anpassung des Modells. Durch die Anzahl der angegebenen Epochen erhöhen sich die Kosten für die Modellanpassung, da mehr Token verarbeitet werden. Jede Epoche verarbeitet den gesamten Trainingsdatensatz einmal. Weitere Informationen zur Preisgestaltung finden Sie unter Amazon Bedrock – Preise
| Name der Konsole | API-Name | Definition | Standard | Minimum | Maximum |
|---|---|---|---|---|---|
| Anzahl der Epochen | epochCount | Die maximale Anzahl der Iterationen im gesamten Trainingsdatensatz | 2 | 1 | 10 |
| Batch-Größe | batchSize | Anzahl der Stichproben, die vor der Aktualisierung der Modellparameter verarbeitet wurden | 32 | 4 | 256 |
| Multiplikator für Lerngeschwindigkeit | learningRateMultiplier | Der Multiplikator, der die Lerngeschwindigkeit beeinflusst, mit der Modellparameter nach jedem Batch aktualisiert werden | 1 | 0.1 | 2 |
| Schwellenwert für frühzeitiges Stoppen | earlyStoppingThreshold | Die mindestens erforderlich Verbesserung des Verlusts, um ein vorzeitiges Abbrechen des Trainingsprozesses zu verhindern | 0.001 | 0 | 0.1 |
| Frühzeitiges Stoppen | earlyStoppingPatience | Die Toleranz gegenüber Stagnation in der Verlustmetrik vor dem Abbruch des Trainingsprozesses | 2 | 1 | 10 |
Die Cohere-Command- und Cohere-Command Light-Modelle unterstützen die folgenden Hyperparameter zur Anpassung des Modells. Durch die Anzahl der angegebenen Epochen erhöhen sich die Kosten für die Modellanpassung, da mehr Token verarbeitet werden. Jede Epoche verarbeitet den gesamten Trainingsdatensatz einmal. Weitere Informationen zur Preisgestaltung finden Sie unter Amazon Bedrock – Preise
Anmerkung
Das epochCount-Kontingent kann angepasst werden.
| Hyperparameter (Konsole) | Hyperparameter (API) | Definition | Typ | Minimum | Maximum | Standard |
|---|---|---|---|---|---|---|
| Epochen | epochCount | Die Anzahl der Iterationen durch den gesamten Trainingsdatensatz | Ganzzahl | 1 | 100 | 1 |
| Batch-Größe | batchSize | Die Anzahl der Stichproben, die vor der Aktualisierung der Modellparameter verarbeitet wurden | Ganzzahl | 8 | 8 (Command) 32 (Light) |
8 |
| Lernrate | learningRate | Die Geschwindigkeit, mit der Modellparameter nach jedem Batch aktualisiert werden. Wenn Sie einen Validierungsdatensatz verwenden, empfehlen wir, keinen Wert für learningRate anzugeben. |
float | 5.00E-6 | 0.1 | 1.00E-5 |
| Schwellenwert für frühzeitiges Stoppen | earlyStoppingThreshold | Die mindestens erforderlich Verbesserung des Verlusts, um ein vorzeitiges Abbrechen des Trainingsprozesses zu verhindern. | float | 0 | 0.1 | 0.01 |
| Frühzeitiges Stoppen | earlyStoppingPatience | Die Toleranz gegenüber Stagnation in der Verlustmetrik vor dem Abbruch des Trainingsprozesses. | Ganzzahl | 1 | 10 | 6 |
| Bewertungsprozentsatz | evalPercentage |
Der Prozentsatz des Datensatzes, der der Modellbewertung zugewiesen ist, wenn Sie keinen separaten Validierungsdatensatz bereitstellen. |
float | 5 | 50 | 20 |
Die Modelle Meta Llama 3.1 8B und 70B unterstützen die folgenden Hyperparameter für die Modellanpassung. Durch die Anzahl der angegebenen Epochen erhöhen sich die Kosten für die Modellanpassung, da mehr Token verarbeitet werden. Jede Epoche verarbeitet den gesamten Trainingsdatensatz einmal. Weitere Informationen zur Preisgestaltung finden Sie unter Amazon Bedrock – Preise
Anmerkung
Das epochCount-Kontingent kann angepasst werden.
| Hyperparameter (Konsole) | Hyperparameter (API) | Definition | Minimum | Maximum | Standard |
|---|---|---|---|---|---|
| Epochen | epochCount | Die Anzahl der Iterationen durch den gesamten Trainingsdatensatz | 1 | 10 | 5 |
| Batch-Größe | batchSize | Die Anzahl der Stichproben, die vor der Aktualisierung der Modellparameter verarbeitet wurden | 1 | 1 | 1 |
| Lernrate | learningRate | Die Geschwindigkeit, mit der Modellparameter nach jedem Batch aktualisiert werden | 5.00E-6 | 0.1 | 1,00E-4 |
Die Modelle Meta Llama 3.2 1B, 3B, 11B und 90B unterstützen die folgenden Hyperparameter für die Modellanpassung. Durch die Anzahl der angegebenen Epochen erhöhen sich die Kosten für die Modellanpassung, da mehr Token verarbeitet werden. Jede Epoche verarbeitet den gesamten Trainingsdatensatz einmal. Weitere Informationen zur Preisgestaltung finden Sie unter Amazon Bedrock – Preise
Informationen zur Feinabstimmung von Meta Lama-Modellen finden Sie in der Meta Dokumentation unter https://ai.meta.com/llama/get-started/
| Hyperparameter (Konsole) | Hyperparameter (API) | Definition | Minimum | Maximum | Standard |
|---|---|---|---|---|---|
| Epochen | epochCount | Die Anzahl der Iterationen durch den gesamten Trainingsdatensatz | 1 | 10 | 5 |
| Batch-Größe | batchSize | Die Anzahl der Stichproben, die vor der Aktualisierung der Modellparameter verarbeitet wurden | 1 | 1 | 1 |
| Lernrate | learningRate | Die Geschwindigkeit, mit der Modellparameter nach jedem Batch aktualisiert werden | 5.00E-6 | 0.1 | 1,00E-4 |
