使用提示管理建立提示 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用提示管理建立提示

建立提示時,您有下列選項:

  • 撰寫提示訊息做為 FM 的輸入,以產生輸出。

  • 使用雙大括弧在提示訊息中包含您在呼叫提示時可以填入的變數 (如 {{variable}})。

  • 選擇一個用於調用提示的模型,或者,如果您計劃將提示與代理程式搭配使用,請將其保留為未指定。如果您選擇模型,您也可以修改要使用的推論組態。若要查看不同模型的推論參數,請參閱 基礎模型的推論請求參數和回應欄位

所有提示都支援下列基本推論參數:

  • maxTokens – 產生的回應中允許的字符數目上限。

  • stopSequences – 停止序列的清單。停止序列是使模型停止產生回應的字元序列。

  • temperature – 模型產生回應時,選取較高機率選項的可能性。

  • topP – 模型考慮下一個字符時,最可能的候選項目百分比。

如果模型支援其他推論參數,您可以將這些參數指定為提示的其他欄位。您可以在 JSON 物件中提供其他欄位。下列範例說明如何設定可在 Anthropic Claude 模型中使用,但不是基本推論參數的 top_k

{ "top_k": 200 }

如需有關模型推論參數的資訊,請參閱基礎模型的推論請求參數和回應欄位

將基本推論參數設定為其他欄位,並不會覆寫您在主控台中設定的值。

如果您選擇用於提示的模型支援 Converse API (如需詳細資訊,請參閱 與 Converse API 操作進行對話),您可以在建構提示時包含下列項目:

  • 一個用於向模型提供指示或內容的系統提示。

  • 先前的提示 (使用者訊息) 和模型回應 (助理訊息),作為模型在產生最終使用者訊息的回應時要考慮的對話歷史記錄。

  • (如果模型支援) 模型在產生回應時要使用的工具

  • (如果模型支援) 使用提示快取以透過快取大型或常用提示來降低成本。視模型而定,您可以快取系統指示、工具和訊息 (使用者和助理)。如果您的提示字首總數符合模型所需的字符數量下限,提示快取會建立提示的快取檢查點。在提示中遇到變更的變數時,提示快取會建立新的快取檢查點 (如果輸入字符的數量達到模型所需的下限)。

若要了解如何使用提示管理建立提示,請選擇您偏好方法的索引標籤,然後遵循下列步驟:

Console
建立提示
  1. 使用具有 Amazon Bedrock 主控台使用許可的 IAM 身分登入AWS 管理主控台。接著,開啟位於 https://console.aws.amazon.com/bedrock 的 Amazon Bedrock 主控台。

  2. 從左側導覽窗格中選取提示管理。然後,選擇建立提示

  3. 提供提示的名稱和選用描述。

  4. 若要使用客戶自管金鑰將提示加密,請在 KMS 金鑰選取區段中選取自訂加密設定 (進階)。如果您省略此欄位,您的提示將使用 AWS 受管金鑰 加密。如需詳細資訊,請參閱 AWS KMS 金鑰

  5. 選擇建立提示。系統會建立您的提示,並將您帶往新建立提示的提示生成器,在此您可以設定提示。

  6. 您可以繼續下列程序來設定提示,或稍後返回提示生成器。

設定提示
  1. 如果您尚未在提示生成器中,請執行下列動作:

    1. 使用具有 Amazon Bedrock 主控台使用許可的 IAM 身分登入AWS 管理主控台。接著,開啟位於 https://console.aws.amazon.com/bedrock 的 Amazon Bedrock 主控台。

    2. 從左側導覽窗格中選取提示管理。然後,在提示區段中選擇一個提示。

    3. 提示草稿區段中,選擇在提示生成器中編輯

  2. 使用提示窗格來建構提示。在最後一個使用者訊息方塊中輸入提示。如果模型支援 Converse APIAnthropicClaude Messages API,您也可以包含系統提示和先前的使用者訊息,以及內容的助理訊息

    當您撰寫提示時,您可以使用雙大括弧括住變數 (如 {{variable}})。每個括住的變數都會出現在測試變數區段中。

  3. (選用) 您可以透過以下方式修改提示:

    • 組態窗格中,執行下列操作:

      1. 選擇用於執行推論的生成式 AI 資源

        注意

        如果您選擇代理程式,您只能在主控台中測試提示。若要了解如何在 API 中使用代理程式測試提示,請參閱使用提示管理測試提示

      2. 推論參數中,設定您要使用的推論參數。

      3. 如果模型支援推理,請開啟推理,以在回應中包含模型的推理。在推理字符中,您可以設定模型可以使用的推理字符數量。

      4. 在其他模型請求欄位中,選擇設定以指定在推論參數之外的其他推論參數。

      5. 如果您選擇的模型支援工具,請選擇設定工具以將工具搭配提示使用。

      6. 如果您選擇的模型支援提示快取,請選擇下列其中一個選項 (可用性因模型而異):

        • – 未進行提示快取。

        • 工具 – 只會快取提示中的工具。

        • 工具、系統指示 – 系統會快取提示中的工具和系統指示。

        • 工具、系統指示和訊息 – 系統會快取提示中的工具、系統指示和訊息 (使用者和助理)。

    • 若要比較提示的不同變體,請選擇比較變體。您可以在比較頁面上執行下列操作:

      • 若要新增變體,請選擇加號。您最多可以新增三個變體。

      • 指定變體的詳細資訊後,您可以指定任何測試變數,然後選擇執行來測試變體的輸出。

      • 若要刪除變體,請選擇三個點,然後選取從比較中移除

      • 若要取代工作草稿並離開比較模式,請選擇另存為草稿。所有其他變體都會遭到刪除。

      • 若要離開比較模式,請選擇退出比較模式

  4. 當您完成設定提示時,您有下列選項:

API

若要建立提示,請使用 Amazon Bedrock 代理程式建置時期端點傳送 CreatePrompt 請求。

下列是必要欄位:

欄位 簡短描述
name 提示名稱。
變體 提示的不同組態清單 (請參閱下方)。
defaultVariant 預設變體名稱。

variants 清單中的每個變體都是下列一般結構的 PromptVariant 物件:

{ "name": "string", # modelId or genAiResource (see below) "templateType": "TEXT", "templateConfiguration": # see below, "inferenceConfiguration": { "text": { "maxTokens": int, "stopSequences": ["string", ...], "temperature": float, "topP": float } }, "additionalModelRequestFields": { "key": "value", ... }, "metadata": [ { "key": "string", "value": "string" }, ... ] }

如下所示填入欄位:

  • name – 輸入變體的名稱。

  • 根據要使用的模型調用資源,包含下列其中一個欄位:

    • modelId – 若要指定基礎模型推論設定檔以搭配使用提示,請輸入其 ARN 或 ID。

    • genAiResource – 若要指定代理程式,請輸入其 ID 或 ARN。genAiResource 的值是下列格式的 JSON 物件:

      { "genAiResource": { "agent": { "agentIdentifier": "string" } }
      注意

      如果您包含 genAiResource 欄位,您只能在主控台中測試提示。若要在 API 中使用代理程式測試提示,您必須直接在 InvokeAgent 請求的 inputText 欄位中輸入提示的文字。

  • templateType – 輸入 TEXTCHATCHAT 僅與支援 Converse API 的模型相容。如果您想要使用提示快取,您必須使用 CHAT 範本類型。

  • templateConfiguration – 此值取決於您指定的範本類型:

  • inferenceConfiguration – text 欄位對應至 PromptModelInferenceConfiguration。此欄位包含所有模型通用的推論參數。若要進一步了解推論參數,請參閱使用推論參數影響回應生成

  • additionalModelRequestFields – 使用此欄位來指定您正用於執行推論之模型所特有的推論參數。若要進一步了解模型特有的推論參數,請參閱基礎模型的推論請求參數和回應欄位

  • metadata – 要與提示變體建立關聯的中繼資料。您可以將鍵/值對附加到陣列,以使用中繼資料標記提示變體。

以下是選填欄位:

欄位 使用案例
描述 提供提示的描述。
clientToken 為確保 API 請求,僅完成一次。如需詳細資訊,請參閱確保冪等性
標籤 將標籤與流程建立關聯。如需詳細資訊,請參閱 標記 Amazon Bedrock 資源

回應會建立 DRAFT 版本,並傳回 ID 和 ARN,您可以將其做為其他提示相關 API 請求的提示識別碼。