本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用 API 提交提示並產生回應
Amazon Bedrock 提供 followingAPI 操作來執行模型推論:
-
InvokeModel – 提交提示並產生回應。請求內文是模型特定的。若要產生串流回應,請使用 InvokeModelWithResponseStream。
-
反之 – 提交提示,並使用跨所有模型統一的結構產生回應。您可以在
additionalModelRequestFields欄位中指定模型特定的請求欄位。您也可以針對內容包含系統提示和先前的對話。若要產生串流回應,請使用 ConverseStream。 -
StartAsyncInvoke – 提交提示並以非同步方式產生可在稍後擷取的回應。用來產生影片。
-
OpenAI 聊天完成 API – 使用 OpenAI 聊天完成 API
搭配 Amazon Bedrock 支援的模型來產生回應。
針對模型推論,您需要判斷下列參數:
-
模型 ID – 要在
modelId欄位中用於推論的模型或推論設定檔 ID 或 Amazon Resource Name (ARN)。下表說明如何尋找不同類型的資源 ID:模型類型 說明 在主控台中尋找 ID 在 API 中尋找 ID 相關文件 基礎模型 來自供應商的基礎模型。 從左側導覽窗格中選擇基礎模型、搜尋模型,然後尋找模型 ID。 傳送 GetFoundationModel 或 ListFoundationModels 請求,並在回應中尋找 modelId。請在 Amazon Bedrock 中支援的基礎模型 參閱 ID 清單。 推論設定檔 允許在多個區域中調用模型來提高輸送量。 從左側導覽窗格中選擇跨區域推論,並尋找推論設定檔 ID。 傳送 GetInferenceProfile 或 ListInferenceProfiles 請求,並在回應中尋找 inferenceProfileId。請在 推論設定檔支援的區域和模型 參閱 ID 清單。 提示 使用提示管理進行建構的提示。 從左側導覽窗格中選擇提示管理,在提示區段中選取提示,然後尋找提示 ARN。 傳送 GetPrompt 或 ListPrompts 請求,並在回應中尋找 promptArn。了解如何在 在 Amazon Bedrock 中使用提示管理來建構和存放可重複使用的提示 的提示管理中建立提示。 佈建輸送量 以固定成本為模型提供更高階的輸送量。 從左側導覽窗格中選擇佈建輸送量,選取佈建的輸送量,然後尋找 ARN。 傳送 GetProvisionedModelThroughput 或 ListProvisionedModelThroughputs 請求,並在回應中尋找 provisionedModelArn。了解如何在 使用 Amazon Bedrock 中的佈建輸送量增加模型調用容量 購買模型的佈建輸送量。 自訂模型 其參數會根據訓練資料從基礎模型轉移的模型。 購買自訂模型的佈建輸送量後,請依照步驟尋找佈建輸送量的 ID。 購買自訂模型的佈建輸送量後,請依照步驟尋找佈建輸送量的 ID。 了解如何在 自訂模型,以改善其針對使用案例的效能 自訂模型。自訂之後,您必須為其購買佈建的輸送量,並使用佈建輸送量的 ID。 -
請求內文 – 包含模型和其他組態的推論參數。每個基本模型都有各自的推論參數。自訂或佈建的模型的推論參數為何,取決於建立該參數的基本模型。如需詳細資訊,請參閱 基礎模型的推論請求參數和回應欄位。
選取主題以了解如何使用模型調用 API。