Verwenden des Imports benutzerdefinierter Modelle, um ein benutzerdefiniertes Open-Source-Modell in Amazon Bedrock zu importieren - Amazon Bedrock
Unterstützte ArchitekturenImportieren einer Modellquelle aus Amazon S3

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden des Imports benutzerdefinierter Modelle, um ein benutzerdefiniertes Open-Source-Modell in Amazon Bedrock zu importieren

Sie können ein benutzerdefiniertes Modell in Amazon Bedrock erstellen, indem Sie die Funktion Amazon Bedrock Custom Model Import verwenden, um Foundation-Modelle zu importieren, die Sie in anderen Umgebungen wie Amazon SageMaker AI angepasst haben. Beispielsweise haben Sie möglicherweise ein Modell, das Sie in Amazon SageMaker AI erstellt haben und das über eigene Modellgewichte verfügt. Sie können dieses Modell jetzt in Amazon Bedrock importieren und dann die Features von Amazon Bedrock nutzen, um Inferenzaufrufe an das Modell zu senden.

Sie können ein Modell verwenden, das Sie mit On-Demand-Durchsatz importieren. Verwenden Sie die InvokeModelWithResponseStreamOperationen InvokeModeloder, um Rückschlüsse auf das Modell zu ziehen. Weitere Informationen finden Sie unter Senden Sie eine einzelne Aufforderung mit InvokeModel.

Der Import von benutzerdefinierten Modellen wird in den folgenden Regionen unterstützt:

  • eu-central-1

  • us-east-1

  • us-east-2

  • us-west-2

Anmerkung

Stellen Sie sicher, dass Ihr Import und die Verwendung der Modelle in Amazon Bedrock den für die Modelle geltenden Bedingungen oder Lizenzen entsprechen.

Sie können den benutzerdefinierten Modellimport nicht mit den folgenden Amazon-Bedrock-Features verwenden.

  • Batch-Inferenz

  • CloudFormation

Mit dem benutzerdefinierten Modellimport können Sie ein benutzerdefiniertes Modell erstellen, das die folgenden Muster unterstützt.

  • Feinabgestimmtes oder kontinuierliches Vortrainingsmodell – Sie können die Modellgewichte mithilfe geschützter Daten anpassen, die Konfiguration des Basismodells jedoch beibehalten.

  • Anpassung – Sie können das Modell für Anwendungsfälle, in denen das Modell nicht gut generalisiert werden kann, an Ihre Domain anpassen. Bei der Domainanpassung wird ein Modell dahingehend modifiziert, dass es für eine Zieldomain generalisiert und Diskrepanzen zwischen verschiedenen Domains berücksichtigt werden, z. B. wenn die Finanzbranche ein Modell erstellen möchte, das sich gut für die Preisgestaltung generalisieren lässt. Ein weiteres Beispiel ist die Sprachanpassung. Sie könnten beispielsweise ein Modell so anpassen, dass Antworten auf Portugiesisch oder Tamil generiert werden. In den meisten Fällen umfasst dies Änderungen am Wortschatz des Modells, das Sie verwenden.

  • Von Grund auf vortrainiert – Sie können nicht nur die Gewichte und das Vokabular des Modells anpassen, sondern auch die Modellkonfigurationsparameter wie die Anzahl der Aufmerksamkeitsspitzen, die versteckten Ebenen oder die Länge des Kontexts ändern.

Informationen zu den Preisen für den Import benutzerdefinierter Modelle finden Sie auf der Registerkarte „Benutzerdefinierter Modellimport“ unter Amazon Bedrock – Preise im Abschnitt mit den Details zu den Modellpreisen.

Themen

Unterstützte Architekturen

Das importierte Modell muss sich in einer der folgenden Architekturen befinden.

  • Mistral – Eine ausschließlich auf Decodern basierende Transformer-Architektur mit Sliding Window Attention (SWA) und Optionen für Grouped Query Attention (GQA). Weitere Informationen finden Sie unter Mistral in der Hugging-Face-Dokumentation.

  • Mixtral – Ein Transformer-Modell, das ausschließlich auf Decoder basiert, mit spärlichen Mixture of Experts (MoE)-Modellen. Weitere Informationen finden Sie unter Mixtral in der Hugging-Face-Dokumentation.

  • Flan – Eine erweiterte Version der T5-Architektur, ein auf Encoder-Decodern basierendes Transformer-Modell. Weitere Informationen finden Sie unter Flan T5 in der Hugging-Face-Dokumentation.

  • Llama 2, Llama3, Llama3.1, Llama3.2, Llama 3.3 und Mllama – Eine verbesserte Version von Llama mit Grouped Query Attention (GQA). Weitere Informationen finden Sie unter Llama 2, Llama 3, Llama 3.1, Llama 3.2, Llama 3.3 und Mllama in der Dokumentation für Hugging Face.

  • GPTBigCode – Eine optimierte Version von GPT-2 mit Multi-Query-Aktion. Weitere Informationen finden Sie in der Hugging Face Dokumentation unter GPTBigCode.

  • Qwen2, Qwen2.5, Qwen2-VL, Qwen2.5-VL, Qwen3 – Eine LLM-Familie mit umfassender multimodaler Wahrnehmung und Bildcodierung mit hoher Geschwindigkeit. Jedes Modell, dass die Architekturen Qwen2, Qwen2-VL und Qwen2.5-VL verwendet, kann importiert werden. Für die Qwen3-Architektur werden nur Qwen3ForCausalLM und Qwen3MoeForCausalLM unterstützt. Converse wird auch für Qwen3-Modelle nicht unterstützt. Weitere Informationen finden Sie unter Qwen2, Qwen2.5, Qwen2-VL, Qwen2.5-VL und Qwen3 in der Dokumentation für Hugging Face.

  • GPT-OSS— OpenAI-basierte GPT-OSS Architektur. Amazon Bedrock unterstützt sowohl 20B- als auch 120B-basierte kundenspezifische Modelle. GPT-OSSDie Modellarchitektur wird nur in der Region USA Ost (Nord-Virginia) unterstützt.

Anmerkung

  • Die Größe der importierten Modellgewichte muss weniger als 100 GB für multimodale Modelle und 200 GB für Textmodelle betragen.

  • Die maximalen Positionseinbettungen oder die maximale Kontextlänge, die vom Modell unterstützt werden, sollten weniger als 128 KB betragen.

  • Amazon Bedrock unterstützt die Transformer-Version 4.51.3. Stellen Sie bei der Feinabstimmung Ihres Modells sicher, dass Sie die Transformer-Version 4.51.3 verwenden.

  • Der benutzerdefinierte Modellimport unterstützt das Einbetten von Modellen nicht.

Importieren einer Modellquelle aus Amazon S3

Sie importieren ein Modell in Amazon Bedrock, indem Sie einen Modellimportauftrag in der Amazon-Bedrock-Konsole oder über die API erstellen. Im Auftrag geben Sie den Amazon-S3-URI für die Quelle der Modelldateien an. Während des Modelltrainings erkennt der Importauftrag automatisch die Architektur Ihres Modells.

Sie müssen die Modelldateien im Gewichtsformat von Hugging Face bereitstellen. Sie können die Dateien mithilfe der Transformer-Bibliothek von Hugging Face erstellen. Informationen zum Erstellen von Modelldateien für ein Llama-Modell finden Sie unter convert_llama_weights_to_hf.py. Informationen zum Erstellen der Dateien für ein Modell von Mistral AI finden Sie unter convert_mistral_weights_to_hf.py.

Wenn Sie das Modell aus Amazon S3 importieren möchten, benötigen Sie mindestens die folgenden Dateien, die die Transformer-Bibliothek von Hugging Face erstellt.

  • .safetensor – Die Gewichtungen des Modells im Safetensor-Format. Safetensor ist ein Format, das von Hugging Face erstellt wurde und Modellgewichte als Tensoren speichert. Sie müssen die Tensoren für Ihr Modell in einer Datei mit der Erweiterung .safetensors speichern. Weitere Informationen finden Sie unter Safetensors. Informationen zur Konvertierung von Modellgewichten in das Safetensor-Format finden Sie unter Konvertieren von Gewichten in Safetensors.

  • config.json — Beispiele finden Sie unter und. LlamaConfigMistralConfig

    Anmerkung

    Amazon Bedrock überschreibt den llama3-Wert rope_scaling mit den folgenden Werten:

    • original_max_position_embeddings=8192

    • high_freq_factor=4

    • low_freq_factor=1

    • factor=8

  • tokenizer_config.json Ein Beispiel finden Sie unter. LlamaTokenizer

  • tokenizer.json

  • tokenizer.model

Unterstützte Tokenizer

Der benutzerdefinierte Modellimport für Amazon Bedrock unterstützt die folgenden Tokenizer. Sie können diese Tokenizer mit jedem Modell verwenden.

  • T5Tokenizer

  • T5 TokenizerFast

  • LlamaTokenizer

  • LlamaTokenizerFast

  • CodeLlamaTokenizer

  • CodeLlamaTokenizerFast

  • GPT2Tokenisierer

  • GPT2TokenizerFast

  • GPTNeoXTokenizer

  • GPTNeoXTokenizerSchnell

  • PreTrainedTokenizer

  • PreTrainedTokenizerFast

  • Qwen2Tokenizer

  • Qwen 2 TokenizerFast