使用 API 提交提示並產生回應 - Amazon Bedrock

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 API 提交提示並產生回應

Amazon Bedrock 提供followingAPI 操作來執行模型推論：

  • InvokeModel – 提交提示並產生回應。請求內文是模型特定的。若要產生串流回應，請使用 InvokeModelWithResponseStream。

  • 相反 – 提交提示，並產生所有模型統一的結構回應。您可以在 欄位中指定模型特定的請求additionalModelRequestFields欄位。您也可以針對內容包含系統提示和先前的對話。若要產生串流回應，請使用 ConverseStream。

  • StartAsyncInvoke – 提交提示並以非同步方式產生回應，以供稍後擷取。用來產生影片。

  • InvokeModelWithBidirectionalStream –

  • OpenAI 聊天完成 API – 使用OpenAI聊天完成 API 搭配 Amazon Bedrock 支援的模型來產生回應。

針對模型推論，您需要判斷下列參數：

  • 模型 ID – 用於推論的 modelId欄位中模型或推論設定檔的 ID 或 Amazon Resource Name (ARN)。下表說明如何尋找不同類型的資源 IDs：

    模型類型 描述 在主控台中尋找 ID 在 API 中尋找 ID 相關文件
    基礎模型 來自供應商的基礎模型。 從左側導覽窗格中選擇基礎模型，搜尋模型，然後尋找模型 ID。 傳送 GetFoundationModel 或 ListFoundationModels 請求，並在回應modelId中尋找 。 請參閱 IDs 清單Amazon Bedrock 中支援的基礎模型。
    推論設定檔 允許在多個區域中調用模型來提高輸送量。 從左側導覽窗格中選擇跨區域推論，並尋找推論設定檔 ID。 傳送 GetInferenceProfile 或 ListInferenceProfiles 請求，並在回應inferenceProfileId中找到 。 請參閱 IDs 清單推論描述檔支援的區域和模型。
    提示 使用提示管理建構的提示。 從左側導覽窗格中選擇提示管理，在提示區段中選取提示，然後尋找提示 ARN。 傳送 GetPrompt 或 ListPrompts 請求，並在回應promptArn中尋找 。 了解如何在 的提示管理中建立提示在 Amazon Bedrock 中使用提示管理來建構和儲存可重複使用的提示。
    佈建輸送量 以固定成本為模型提供更高水準的輸送量。 從左側導覽窗格中選擇佈建輸送量，選取佈建輸送量，然後尋找 ARN。 傳送 GetProvisionedModelThroughput 或 ListProvisionedModelThroughputs 請求，並在回應provisionedModelArn中尋找 。 了解如何在 購買模型的佈建輸送量佈建輸送量。
    自訂模型 模型，其參數會根據訓練資料從基礎模型轉移。 購買自訂模型的佈建輸送量後，請依照步驟尋找佈建輸送量的 ID。 購買自訂模型的佈建輸送量後，請依照步驟尋找佈建輸送量的 ID。 了解如何在 自訂模型自訂您的模型，以改善其針對使用案例的效能。自訂之後，您必須為其購買佈建輸送量，並使用佈建輸送量的 ID。

  • 請求內文 – 包含模型和其他組態的推論參數。每個基本模型都有自己的推論參數。自訂或佈建的模型的推論參數為何，取決於建立該參數的基本模型。如需詳細資訊，請參閱基礎模型的推論請求參數和回應欄位。

選取主題以了解如何使用模型調用 APIs。

主題