使用 API 提交提示並產生回應 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 API 提交提示並產生回應

Amazon Bedrock 提供followingAPI 操作來執行模型推論:

  • InvokeModel – 提交提示並產生回應。請求內文是模型特定的。若要產生串流回應,請使用 InvokeModelWithResponseStream

  • 相反 – 提交提示,並產生所有模型統一的結構回應。您可以在 欄位中指定模型特定的請求additionalModelRequestFields欄位。您也可以針對內容包含系統提示和先前的對話。若要產生串流回應,請使用 ConverseStream

  • StartAsyncInvoke – 提交提示並以非同步方式產生回應,以供稍後擷取。用來產生影片。

  • InvokeModelWithBidirectionalStream

  • OpenAI 聊天完成 API – 使用OpenAI聊天完成 API 搭配 Amazon Bedrock 支援的模型來產生回應。

針對模型推論,您需要判斷下列參數:

  • 模型 ID – 用於推論的 modelId欄位中模型或推論設定檔的 ID 或 Amazon Resource Name (ARN)。下表說明如何尋找不同類型的資源 IDs:

    模型類型 描述 在主控台中尋找 ID 在 API 中尋找 ID 相關文件
    基礎模型 來自供應商的基礎模型。 從左側導覽窗格中選擇基礎模型,搜尋模型,然後尋找模型 ID 傳送 GetFoundationModelListFoundationModels 請求,並在回應modelId中尋找 。 請參閱 IDs 清單Amazon Bedrock 中支援的基礎模型
    推論設定檔 允許在多個區域中調用模型來提高輸送量。 從左側導覽窗格中選擇跨區域推論,並尋找推論設定檔 ID 傳送 GetInferenceProfileListInferenceProfiles 請求,並在回應inferenceProfileId中找到 。 請參閱 IDs 清單推論描述檔支援的區域和模型
    提示 使用提示管理建構的提示。 從左側導覽窗格中選擇提示管理,在提示區段中選取提示,然後尋找提示 ARN 傳送 GetPromptListPrompts 請求,並在回應promptArn中尋找 。 了解如何在 的提示管理中建立提示在 Amazon Bedrock 中使用提示管理來建構和儲存可重複使用的提示
    佈建輸送量 以固定成本為模型提供更高水準的輸送量。 從左側導覽窗格中選擇佈建輸送量,選取佈建輸送量,然後尋找 ARN。 傳送 GetProvisionedModelThroughputListProvisionedModelThroughputs 請求,並在回應provisionedModelArn中尋找 。 了解如何在 購買模型的佈建輸送量佈建輸送量
    自訂模型 模型,其參數會根據訓練資料從基礎模型轉移。 購買自訂模型的佈建輸送量後,請依照步驟尋找佈建輸送量的 ID。 購買自訂模型的佈建輸送量後,請依照步驟尋找佈建輸送量的 ID。 了解如何在 自訂模型自訂您的模型,以改善其針對使用案例的效能。自訂之後,您必須為其購買佈建輸送量,並使用佈建輸送量的 ID。
  • 請求內文 – 包含模型和其他組態的推論參數。每個基本模型都有自己的推論參數。自訂或佈建的模型的推論參數為何,取決於建立該參數的基本模型。如需詳細資訊,請參閱基礎模型的推論請求參數和回應欄位

選取主題以了解如何使用模型調用 APIs。