本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用 API 提交提示並產生回應
Amazon Bedrock 提供followingAPI 操作來執行模型推論:
-
InvokeModel – 提交提示並產生回應。請求內文是模型特定的。若要產生串流回應,請使用 InvokeModelWithResponseStream。
-
相反 – 提交提示,並使用跨所有模型統一的結構產生回應。您可以在 欄位中指定模型特定的請求
additionalModelRequestFields
欄位。您也可以針對內容包含系統提示和先前的對話。若要產生串流回應,請使用 ConverseStream。 -
StartAsyncInvoke – 提交提示並以非同步方式產生回應,以供稍後擷取。用來產生影片。
-
OpenAI 聊天完成 API – 使用OpenAI聊天完成 API
搭配 Amazon Bedrock 支援的模型來產生回應。
針對模型推論,您需要判斷下列參數:
-
模型 ID – 用於推論的
modelId
欄位中模型或推論設定檔的 ID 或 Amazon Resource Name (ARN)。下表說明如何尋找不同類型的資源 IDs:模型類型 描述 在主控台中尋找 ID 在 API 中尋找 ID 相關文件 基礎模型 來自供應商的基礎模型。 從左側導覽窗格中選擇基礎模型,搜尋模型,然後尋找模型 ID。 傳送 GetFoundationModel 或 ListFoundationModels 請求,並在回應 modelId
中尋找 。請參閱 IDs 清單Amazon Bedrock 中支援的基礎模型。 推論設定檔 允許在多個區域中調用模型來提高輸送量。 從左側導覽窗格中選擇跨區域推論,並尋找推論設定檔 ID。 傳送 GetInferenceProfile 或 ListInferenceProfiles 請求,並在回應 inferenceProfileId
中尋找 。請參閱 IDs 清單推論描述檔支援的區域和模型。 提示 使用提示管理建構的提示。 從左側導覽窗格中選擇提示管理,在提示區段中選取提示,然後尋找提示 ARN。 傳送 GetPrompt 或 ListPrompts 請求,並在回應 promptArn
中尋找 。了解如何在 的提示管理中建立提示在 Amazon Bedrock 中使用提示管理來建構和儲存可重複使用的提示。 佈建輸送量 以固定成本為模型提供更高水準的輸送量。 從左側導覽窗格中選擇佈建輸送量,選取佈建輸送量,然後尋找 ARN。 傳送 GetProvisionedModelThroughput 或 ListProvisionedModelThroughputs 請求,並在回應 provisionedModelArn
中尋找 。了解如何在 購買模型的佈建輸送量使用 Amazon Bedrock 中的佈建輸送量增加模型調用容量。 自訂模型 模型,其參數會根據訓練資料從基礎模型轉移。 購買自訂模型的佈建輸送量後,請依照步驟尋找佈建輸送量的 ID。 購買自訂模型的佈建輸送量後,請依照步驟尋找佈建輸送量的 ID。 了解如何在 自訂模型自訂您的模型,以改善其針對使用案例的效能。自訂之後,您必須為其購買佈建輸送量,並使用佈建輸送量的 ID。 -
請求內文 – 包含模型和其他組態的推論參數。每個基礎模型都有自己的推論參數。自訂或佈建的模型的推論參數為何,取決於建立該參數的基本模型。如需詳細資訊,請參閱基礎模型的推論請求參數和回應欄位。
選取主題以了解如何使用模型調用 APIs。