使用自訂模型匯入，將自訂的開放原始碼模型匯入 Amazon Bedrock - Amazon Bedrock
支援的架構從 Amazon S3 匯入模型來源

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用自訂模型匯入，將自訂的開放原始碼模型匯入 Amazon Bedrock

您可以使用 Amazon Bedrock 自訂模型匯入功能在 Amazon Bedrock 中建立自訂模型，以匯入您在其他環境中自訂的基礎模型，例如 Amazon SageMaker AI。例如，您可能有一個在 Amazon SageMaker AI 中建立且具有專屬模型權重的模型。您現在可以將該模型匯入 Amazon Bedrock，然後利用 Amazon Bedrock 功能對模型進行推論呼叫。

您可以使用您匯入的模型搭配隨需輸送量。使用 InvokeModel 或 InvokeModelWithResponseStream 操作對模型進行推論呼叫。如需詳細資訊，請參閱使用 InvokeModel 提交單一提示。

下列區域支援自訂模型匯入：

  • eu-central-1

  • us-east-1

  • us-east-2

  • us-west-2

注意

請確定您在 Amazon Bedrock 中匯入和使用模型符合適用於模型的條款或授權。

您無法搭配下列 Amazon Bedrock 功能使用自訂模型匯入。

  • 批次推論

  • CloudFormation

透過自訂模型匯入，您可以建立支援下列模式的自訂模型。

  • 經微調或持續預先訓練的模型 — 您可以使用專屬資料自訂模型權重，但保留基礎模型的組態。

  • 適應性 您可以配合您的領域自訂模型，以用於模型無法妥善一般化的使用案例。領域適應性會修改模型，以針對目標領域進行一般化，並處理跨領域的差異，例如想要建立理想地一般化定價之模型的金融產業。另一個範例是語言適應性。例如，您可以自訂模型，以產生葡萄牙文或坦米爾文的回應。這通常涉及變更您正在使用的模型詞彙。

  • 從頭開始預先訓練 — 除了自訂模型的權重和詞彙之外，您還可以變更模型組態參數，例如注意力頭數、隱藏圖層或內容長度。

如需自訂模型匯入定價的相關資訊，請在 Amazon Bedrock 定價的模型定價詳細資訊區段中選取 [自訂模型匯入] 標籤。

主題

支援的架構

您匯入的模型必須位於下列其中一個架構中。

  • Mistral — 僅解碼器轉換器型架構，具有滑動視窗注意力 (SWA) 和分組查詢注意力 (GQA) 的選項。如需詳細資訊，請參閱 Hugging Face 文件中的 Mistral。

  • Mixtral — 僅解碼器轉換器模型，具有疏鬆的專家混合 (MoE) 模型。如需詳細資訊，請參閱 Hugging Face 文件中的 Mixtral。

  • Flan — T5 架構的增強版本，以編碼器解碼器為基礎的轉換器模型。如需詳細資訊，請參閱 Hugging Face 文件中的 Flan T5。

  • Llama 2、Llama3、Llama3.1、Llama3.2、Llama 3.3 和 Mllama — 改善的 Llama 版本，具有分組查詢注意力 (GQA)。如需詳細資訊，請參閱 Hugging Face 文件中的 Llama 2、Llama 3、Llama 3.1、Llama 3.2、Llama 3.3 和 Mllama。

  • GPTBigCode — 具有多查詢動作的 GPT-2 最佳化版本。如需詳細資訊，請參閱 Hugging Face 文件中的 GPTBigCode。

  • Qwen2、Qwen2.5、Qwen2-VL、Qwen2.5-VL、Qwen3 — 具有全方位多模態感知和高速視覺編碼的 LLM 系列。您可以匯入任何使用 Qwen2、Qwen2-VL 和 Qwen2.5-VL 架構的模型。對於 Qwen3 架構，僅支援 Qwen3ForCausalLM 和 Qwen3MoeForCausalLM。Qwen3 模型也不支援 Converse。如需詳細資訊，請參閱 Hugging Face 文件中的 Qwen2、Qwen2.5、Qwen2-VL、Qwen2.5-VL 和 Qwen3。

  • GPT-OSS — 以 OpenAI 為基礎的GPT-OSS架構。Amazon Bedrock 支援 20B 和 120B 型自訂模型。 GPT-OSS 模型架構僅支援美國東部 （維吉尼亞北部） 區域。

注意

  • 匯入模型權重的大小在多模態模型中必須小於 100GB，在文字模型中必須小於 200GB。

  • 模型支援的最大位置嵌入或最大內容長度應小於 128K。

  • Amazon Bedrock 支援轉換器 4.51.3 版。微調模型時，請確定您使用的是轉換器 4.51.3 版。

  • 自訂模型匯入不支援內嵌模型。

從 Amazon S3 匯入模型來源

您可以在 Amazon Bedrock 主控台或 API 中建立模型匯入任務，以將模型匯入 Amazon Bedrock。在任務中，您會指定 Amazon S3 URI 作為模型檔案的來源。在模型訓練期間，匯入任務會自動偵測模型的架構。

您需要以 Hugging Face 權重格式提供模型檔案。您可以使用 Hugging Face 轉換器程式庫來建立檔案。若要建立 Llama 模型的模型檔案，請參閱 convert_llama_weights_to_hf.py。若要建立 Mistral AI 模型的檔案，請參閱 convert_mistral_weights_to_hf.py。

若要從 Amazon S3 匯入模型，您至少需要 Hugging Face 轉換器程式庫建立的下列檔案。

  • .safetensor — Safetensor 格式的模型權重。Safetensors 是由 Hugging Face 建立的格式，可將模型權重存放為張量。您必須將模型的張量存放在副檔名為 .safetensors 的檔案中。如需詳細資訊，請參閱 Safetensors。如需將模型權重轉換為 Safetensor 格式的資訊，請參閱將權重轉換為 safetensor。

  • config.json — 如需範例，請參閱 LlamaConfig 和 MistralConfig。

    注意

    Amazon Bedrock 會以下列值覆寫 llama3 rope_scaling 值：

    • original_max_position_embeddings=8192

    • high_freq_factor=4

    • low_freq_factor=1

    • factor=8

  • tokenizer_config.json 如需範例，請參閱 LlamaTokenizer。

  • tokenizer.json

  • tokenizer.model

支援的字符化工具

Amazon Bedrock 自訂模型匯入支援下列字符化工具。您可以搭配任何模型使用這些字符化工具。

  • T5Tokenizer

  • T5TokenizerFast

  • LlamaTokenizer

  • LlamaTokenizerFast

  • CodeLlamaTokenizer

  • CodeLlamaTokenizerFast

  • GPT2Tokenizer

  • GPT2TokenizerFast

  • GPTNeoXTokenizer

  • GPTNeoXTokenizerFast

  • PreTrainedTokenizer

  • PreTrainedTokenizerFast

  • Qwen2Tokenizer

  • Qwen2TokenizerFast