支援大型語言模型進行微調 - Amazon SageMaker AI

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

支援大型語言模型進行微調

使用 Autopilot API，使用者可以微調由 Amazon SageMaker JumpStart 提供支援的大型語言模型 (LLM)。

注意

對於需要接受終端使用者授權協議的經微調的模型，您必須在建立 AutoML 任務時明確宣告接受 EULA。請注意，微調預先訓練的模型後，原始模型的權重會變更，因此您之後在部署經微調的模型時不需要接受 EULA。

如需使用 AutoML API 建立微調任務時如何接受 EULA 的資訊，請參閱使用 AutoML API 微調模型時如何設定接受 EULA。

您可以在下列模型表中搜尋 JumpStart 模型 ID，然後依照來源欄中的連結找到每個模型的完整詳細資訊。這些詳細資訊可能包括模型支援的語言、可能表現出的偏差、用於微調的資料集等。

下表列出您可以使用 AutoML 任務進行微調的受支援 JumpStart 模型。

JumpStart 模型 ID API 請求中的 BaseModelName 描述
huggingface-textgeneration-dolly-v2-3b-bf16 Dolly3B

Dolly 3B 是採用 pythia-2.8b 的 28 億參數指令遵循大型語言模型。它在指示/回應微調資料集 databricks-dolly-15k 上進行訓練，可以執行腦力激盪、分類、問答、文字生成、資訊擷取和摘要等任務。
huggingface-textgeneration-dolly-v2-7b-bf16 Dolly7B

Dolly 7B 是採用 pythia-6.9b 的 69 億參數指令遵循大型語言模型。它在指示/回應微調資料集 databricks-dolly-15k 上進行訓練，可以執行腦力激盪、分類、問答、文字生成、資訊擷取和摘要等任務。
huggingface-textgeneration-dolly-v2-12b-bf16 Dolly12B

Dolly 12B 是採用 pythia-12b 的 120 億參數指令遵循大型語言模型。它在指示/回應微調資料集 databricks-dolly-15k 上進行訓練，可以執行腦力激盪、分類、問答、文字生成、資訊擷取和摘要等任務。
huggingface-llm-falcon-7b-bf16 Falcon7B

Falcon 7B 是擁有 70 億個參數的因果大型語言模型，經過 15,000 億個標記訓練，並透過精選語料庫進行增強。Falcon-7B 僅使用英文和法文資料進行訓練，無法適當推廣到其他語言。由於該模型是以大量網路資料進行訓練的，因此它帶有網路上常見的刻板印象和偏見。
huggingface-llm-falcon-7b-instruct-bf16 Falcon7BInstruct

Falcon 7B Instruct 是根據 Falcon 7B 建置的 70 億參數因果大型語言模型，並依據 2.5 億個聊天/指令資料集的混合標記進行了微調。Falcon 7B Instruct 主要是以英文資料進行訓練，無法適當地推廣到其他語言。此外，由於它是在代表網路的大規模語料庫上進行訓練的，因此它帶有網路上常見的刻板印象和偏見。
huggingface-llm-falcon-40b-bf16 Falcon40B

Falcon 40B 是擁有 400 億個參數的因果大型語言模型，經過 1,000 億個標記訓練，並透過精選語料庫進行增強。它主要以英文、德文、西班牙文和法文進行訓練，對於義大利文、葡萄牙文、波蘭文、荷蘭文、羅馬尼亞文、捷克文和瑞典文的功能有限，無法適當地推廣到其他語言。此外，由於它是在代表網路的大規模語料庫上進行訓練的，因此它帶有網路上常見的刻板印象和偏見。
huggingface-llm-falcon-40b-instruct-bf16 Falcon40BInstruct

Falcon 40B Instruct 是根據 Falcon40B 建置的 400 億參數因果大型語言模型，並在 Baize 混合模型上進行了微調；主要是以英文和法文資料進行訓練，無法適當推廣到其他語言。此外，由於它是在代表網路的大規模語料庫上進行訓練的，因此它帶有網路上常見的刻板印象和偏見。
huggingface-text2text-flan-t5-large FlanT5L

Flan-T5 模型系列是一組大型語言模型，可根據多個任務進行微調，並可進一步訓練。這些模型非常適合語言翻譯、文字生成、句子完成、詞義消歧、摘要或問答等任務。Flan T5 L 是擁有 7.8 億個參數的大型語言模型，經過多種語言的訓練。您可以在 JumpStart 模型表中，依照模型 ID 搜尋模型，並在其擷取的詳細資訊中找到 Flan T5 L 支援的語言清單。
huggingface-text2text-flan-t5-xl FlanT5XL

Flan-T5 模型系列是一組大型語言模型，可根據多個任務進行微調，並可進一步訓練。這些模型非常適合語言翻譯、文字生成、句子完成、詞義消歧、摘要或問答等任務。Flan T5 XL 是擁有 30 億個參數的大型語言模型，經過多種語言的訓練。您可以在 JumpStart 的模型表中，依照模型 ID 搜尋模型，並在其擷取的詳細資訊中找到 Flan T5 XL 支援的語言清單。
huggingface-text2text-flan-t5-xxll FlanT5XXL

Flan-T5 模型系列是一組大型語言模型，可根據多個任務進行微調，並可進一步訓練。這些模型非常適合語言翻譯、文字生成、句子完成、詞義消歧、摘要或問答等任務。Flan T5 XXL 是擁有 110 億個參數的模型。您可以在 JumpStart 的模型表中，依照模型 ID 搜尋模型，並在其擷取的詳細資訊中找到 Flan T5 XXL 支援的語言清單。
meta-textgeneration-llama-2-7b Llama2-7B

Llama 2 是經過預先訓練和微調的生成文字模型的集合，規模從 70 億到 700 億個參數不等。Llama2-7B 是擁有 70 億參數的模型，專門用於英文，可以適用於各種自然語言生成任務。
meta-textgeneration-llama-2-7b-f Llama2-7BChat

Llama 2 是經過預先訓練和微調的生成文字模型的集合，規模從 70 億到 700 億個參數不等。Llama2-7B 是針對對話使用案例進行了最佳化的 70 億參數聊天模型。
meta-textgeneration-llama-2-13b Llama2-13B

Llama 2 是經過預先訓練和微調的生成文字模型的集合，規模從 70 億到 700 億個參數不等。Llama2-13B 是擁有 130 億參數的模型，專門用於英文，可以適用於各種自然語言生成任務。
meta-textgeneration-llama-2-13b-f Llama2-13BChat

Llama 2 是經過預先訓練和微調的生成文字模型的集合，規模從 70 億到 700 億個參數不等。Llama2-13B 是針對對話使用案例進行了最佳化的 130 億參數聊天模型。
huggingface-llm-mistral-7b Mistral7B

Mistral 7B 是擁有七十億參數的程式碼和通用英文文字生成模型，它可用於各種使用案例，包括文字摘要、分類、文字完成或程式碼完成。
huggingface-llm-mistral-7b-instruct Mistral7BInstruct

Mistral 7B Instruct 是針對對話使用案例進行微調的 Mistral 7B 版本，它專門使用各種公開的英語對話資料集。
huggingface-textgeneration1-mpt-7b-bf16 MPT7B

MPT 7B 是一種解碼器式轉換器大型語言模型，具有 67 億個參數，根據 1 兆個英文文字和代碼標記從頭進行預先訓練。它已準備好處理長上下文的內容。
huggingface-textgeneration1-mpt-7b-instruct-bf16 MPT7BInstruct

MPT 7B Instruct 是短格式指令遵循任務的模型。它是透過根據衍生自 databricks-dolly-15k 的資料集和 Anthropic Helpful and Harmless (HH-RLHF) 資料集來微調 MPT 7B 而建置。