Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Voraussetzungen für die Modelldestillation
Bevor Sie beginnen können, vergewissern Sie sich, dass Sie die Zugriffs- und Sicherheitskontrollen für die Modelldestillation verstanden haben. Sie müssen auch ein Lehrer- und Studentenmodell für Ihren Destillationsjob wählen.
Berechtigungen
Bevor Sie beginnen können, vergewissern Sie sich, dass Sie die Zugriffs- und Sicherheitskontrollen für die Modelldestillation verstanden haben. Sie müssen über eine IAM-Servicerolle verfügen, die auf den Amazon-S3-Bucket zugreifen kann, in dem Sie Ihre Trainings- und Validierungsdaten zur Modelldestillation speichern möchten. Amazon Bedrock bietet auch Optionen zur Verschlüsselung und weiteren Sicherung Ihrer Destillationsaufträge und Artefakte. Weitere Informationen finden Sie unter Zugriff und Sicherheit bei der Modellanpassung.
Um ein regionsübergreifendes Inferenzprofil für ein Lehrermodell in einer Distillationsstelle verwenden zu können, muss Ihre Servicerolle zusätzlich zu dem Modell in jeder Region im Inferenzprofil über Berechtigungen zum Aufrufen des Inferenzprofils in einer AWS-Region verfügen. Eine Beispielrichtlinie finden Sie in (Optional) Berechtigungen zum Erstellen eines Destillationsauftrags mit einem regionsübergreifenden Inferenzprofil. Weitere Informationen zur regionsübergreifenden Inferenz finden Sie unter Erhöhen des Durchsatzes mit regionenübergreifender Inferenz.
Auswählen von Lehrer- und Schülermodellen für die Destillation
| Modelltyp | Auswahlkriterien | Die wichtigsten Überlegungen | Voraussetzungen |
|---|---|---|---|
| Modell für Lehrer | Wählen Sie ein Lehrermodell aus, das deutlich größer und fähiger als das Schülermodell ist und dessen Korrektheit Sie für Ihren Anwendungsfall erreichen möchten. | Damit die Destillation effektiver wird, wählen Sie ein Modell aus, das bereits für ähnliche Aufgaben wie Ihren Anwendungsfall trainiert wurde. Für einige Lehrermodelle können Sie ein regionsübergreifendes Inferenzprofil wählen. | Sie müssen über Berechtigungen zum Aufrufen von Inferenzprofilen und -modellen in jeder Region verfügen. Richtlinienbeispiele finden Sie in der Dokumentation zu regionsübergreifenden Inferenzen. |
| Modell für Studierende | Wählen Sie ein Schülermodell aus, das deutlich kleiner ist als das Lehrermodell. | Das Schülermodell muss eines der Schülermodelle sein, die mit Ihrem Lehrermodell in der Tabelle mit den unterstützten Modellen kombiniert sind. | Muss mit dem ausgewählten Lehrermodell kompatibel sein, wie in der folgenden Tabelle dargestellt. |
Im folgenden Abschnitt sind die unterstützten Modelle und Regionen für die Amazon-Bedrock-Modelldestillation aufgeführt. Nachdem Sie Ihre Lehrer- und Schülermodelle ausgewählt haben, bereiten Sie Ihre Trainingsdatensätze für die Destillation vor und optimieren sie. Weitere Informationen finden Sie unter Vorbereiten der Trainingsdatensätze für die Destillation.
Unterstützte Modelle und Regionen für die Amazon-Bedrock-Modelldestillation
Die folgende Tabelle zeigt, welche Modelle AWS-Regionen Amazon Bedrock Model Distillation für Lehrer- und Schülermodelle unterstützt. Wenn Sie ein regionsübergreifendes Inferenzprofil verwenden, werden für die Modelldestillation nur System-Inferenzprofile unterstützt. Weitere Informationen finden Sie unter Erhöhen des Durchsatzes mit regionenübergreifender Inferenz.
| Anbieter | Lehrer | Lehrer-ID | Unterstützung von Inferenzprofilen | Schüler | Schüler-ID | Region |
|---|---|---|---|---|---|---|
| Amazon | Nova Pro | Amazon. nova-pro-v1:0 | beides | Nova Lite Nova Micro |
Amazonas. nova-lite-v1:0:300 k Amazonas. nova-micro-v1:0:128 k |
USA Ost (Nord-Virginia) |
| Nova Premier | Amazonas. nova-premier-v1:0 | Nur Inferenzprofil | Nova Lite Nova Micro Nova Pro |
Amazonas. nova-lite-v1:0:300 k Amazonas. nova-micro-v1:0:128 k Amazonas. nova-pro-v1:0:300 k |
USA Ost (Nord-Virginia) | |
| Anthropic | Claude 3.5 v1 | anthropic.claude-3-5-sonnet-20240620-v1:0 | beides | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
USA West (Oregon) |
| Claude 3.5 v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | beides | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
USA West (Oregon) | |
| Meta | Llama 3.1 405B | meta.lama3-1-405 1:0 b-instruct-v | On-Demand | Llama 3.1 8B Llama 3.1 70B Llama 3.2 1B Llama 3.3 70B |
b-instruct-vmeta.llama3-1-8 1:0:128 k meta.llama3-1-70 1:0:128 k b-instruct-v meta.llama3-2-1 1:0:128 k b-instruct-v meta.llama3-3-70 b-instruct-v 1:0:128 k |
USA West (Oregon) |
| Llama 3.1 70B | meta.lama3-1-70 1:0 b-instruct-v | beides | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
b-instruct-vmeta.llama3-1-8 1:0:128 k meta.llama3-2-1 1:0:128 k b-instruct-v meta.llama3-2-3 b-instruct-v 1:0:128 k |
USA West (Oregon) | |
| Llama 3.3 70B | meta.lama3-3-70 1:0 b-instruct-v | Nur Inferenzprofil | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
b-instruct-vmeta.llama3-1-8 1:0:128 k meta.llama3-2-1 1:0:128 k b-instruct-v meta.llama3-2-3 b-instruct-v 1:0:128 k |
USA West (Oregon) |
Anmerkung
-
Bei Claude - und Llama-Modellen wird der Destillationsauftrag in der Region USA West (Oregon) ausgeführt. Sie können entweder bereitgestellten Durchsatz in USA West (Oregon) kaufen oder das destillierte Modell in eine andere Region kopieren und dann bereitgestellten Durchsatz erwerben.
-
Bei Nova-Modellen führen Sie einen Destillationsauftrag in der Region USA Ost (Nord-Virginia) aus. Damit Inferenz ermöglicht wird, müssen Sie bereitgestellten Durchsatz in USA Ost (Nord-Virginia) kaufen. Sie können keine Nova-Modelle in andere Regionen kopieren.
