使用提示管理建立提示 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用提示管理建立提示

當您建立提示時,您有下列選項:

  • 撰寫提示訊息做為 FM 的輸入,以產生輸出。

  • 使用雙大括號在提示訊息中包含變數 (如 {{variable}}),當您呼叫提示時可填入。

  • 選擇要叫用提示的模型,或者,如果您計劃將提示與客服人員搭配使用,請將其保留為未指定。如果您選擇模型,您也可以修改要使用的推論組態。若要查看不同模型的推論參數,請參閱 基礎模型的推論請求參數和回應欄位

所有提示都支援下列基本推論參數:

  • maxTokens – 在產生的回應中允許的字符數目上限。

  • stopSequences – 停止序列的清單。停止序列是導致模型停止產生回應的字元序列。

  • temperature – 在產生回應時,模型選擇較高機率選項的可能性。

  • topP – 模型考慮用於下一個字符的最可能候選者的百分比。

如果模型支援其他推論參數,您可以將它們指定為提示的額外欄位。您可以在 JSON 物件中提供其他欄位。下列範例示範如何設定 top_k,其可在AnthropicClaude模型中使用,但不是基本推論參數。

{ "top_k": 200 }

如需模型推論參數的相關資訊,請參閱基礎模型的推論請求參數和回應欄位

將基礎推論參數設定為其他欄位不會覆寫您在主控台中設定的值。

如果您選擇用於提示的模型支援 Converse API (如需詳細資訊,請參閱 與 Converse API 操作進行對話),您可以在建構提示時包含下列項目:

  • 系統提示,以向模型提供指示或內容。

  • 先前的提示 (使用者訊息) 和模型回應 (輔助訊息) 作為模型在產生最終使用者訊息的回應時要考慮的對話歷史記錄。

  • (如果模型支援) 模型在產生回應時使用的工具

  • (如果模型支援) 使用提示快取,透過快取大型或常用提示來降低成本。根據模型,您可以快取系統指示、工具和訊息 (使用者和助理)。如果您的提示字首總數符合模型所需的字符數量下限,提示快取會建立提示的快取檢查點。在提示中遇到變更的變數時,提示快取會建立新的快取檢查點 (如果輸入字符的數量達到模型所需的最小值)。

若要了解如何使用提示管理建立提示,請選擇您偏好方法的標籤,然後遵循以下步驟:

Console
建立提示
  1. AWS Management Console 使用具有使用 Amazon Bedrock 主控台許可的 IAM 身分登入 。然後,開啟位於 https://https://console.aws.amazon.com/bedrock 的 Amazon Bedrock 主控台。

  2. 從左側導覽窗格中選取提示管理。然後,選擇建立提示

  3. 提供提示的名稱和選用的描述。

  4. 若要使用客戶受管金鑰加密提示,請在 KMS 金鑰選取區段中選取自訂加密設定 (進階)。如果您省略此欄位,您的提示將使用 加密 AWS 受管金鑰。如需詳細資訊,請參閱 AWS KMS 金鑰

  5. 選擇建立提示。您的提示已建立,系統會將您導向至新建立提示的提示建置器,您可以在其中設定提示。

  6. 您可以繼續下列程序來設定提示,或稍後返回提示建置器。

設定您的提示
  1. 如果您尚未在提示建置器中,請執行下列動作:

    1. AWS Management Console 使用具有使用 Amazon Bedrock 主控台許可的 IAM 身分登入 。然後,開啟位於 https://https://console.aws.amazon.com/bedrock 的 Amazon Bedrock 主控台。

    2. 從左側導覽窗格中選取提示管理。然後,在提示區段中選擇提示

    3. 提示草稿區段中,選擇提示建置器中的編輯

  2. 使用提示窗格來建構提示。在最後一個使用者訊息方塊中輸入提示。如果模型支援 Converse API 或 AnthropicClaude Messages API,您也可以包含系統提示和先前的使用者訊息,以及內容的助理訊息

    當您撰寫提示時,您可以在雙大括號中包含變數 (如 {{variable}})。您包含的每個變數都會出現在測試變數區段中。

  3. (選用) 您可以透過以下方式修改提示:

    • 組態窗格中,執行下列動作:

      1. 選擇執行推論的生成式 AI 資源

        注意

        如果您選擇客服人員,您只能在 主控台中測試提示。若要了解如何在 API 中使用 代理程式測試提示,請參閱 使用提示管理測試提示

      2. 推論參數中,設定您要使用的推論參數。

      3. 如果模型支援推理,請開啟推理,以在回應中包含模型的推理。在推理字符中,您可以設定模型可以使用的推理字符數量。

      4. 在其他模型請求欄位中,選擇設定以指定推論參數以外的其他推論參數

      5. 如果您選擇的模型支援工具,請選擇設定工具以搭配提示使用工具。

      6. 如果您選擇的模型支援提示快取,請選擇下列其中一個選項 (可用性因模型而異):

        • – 沒有完成提示快取。

        • 工具 – 只會快取提示中的工具。

        • 工具、系統指示 – 系統會快取提示中的工具和系統指示。

        • 工具、系統指示和訊息 – 系統會快取提示中的工具、系統指示和訊息 (使用者和助理)。

    • 若要比較提示的不同變體,請選擇比較變體。您可以在比較頁面上執行下列動作:

      • 若要新增變體,請選擇加號。您最多可以新增三個變體。

      • 指定變體的詳細資訊後,您可以指定任何測試變數,然後選擇執行來測試變體的輸出。

      • 若要刪除變體,請選擇三個點,然後選取從比較中移除

      • 若要取代工作草稿並離開比較模式,請選擇另存為草稿。所有其他變體都會遭到刪除。

      • 若要離開比較模式,請選擇結束比較模式

  4. 當您完成設定提示時,您有下列選項:

API

若要建立提示,請使用 Amazon Bedrock 的代理程式建置時間端點傳送 CreatePrompt 請求。

下列是必要欄位:

欄位 簡短描述
name 提示的名稱。
變體 提示的不同組態清單 (請參閱下方)。
defaultVariant 預設變體的名稱。

variants 清單中的每個變體都是下列一般結構的 PromptVariant 物件:

{ "name": "string", # modelId or genAiResource (see below) "templateType": "TEXT", "templateConfiguration": # see below, "inferenceConfiguration": { "text": { "maxTokens": int, "stopSequences": ["string", ...], "temperature": float, "topP": float } }, "additionalModelRequestFields": { "key": "value", ... }, "metadata": [ { "key": "string", "value": "string" }, ... ] }

填寫欄位,如下所示:

  • name – 輸入變體的名稱。

  • 根據要使用的模型調用資源,包含下列其中一個欄位:

    • modelId – 若要指定要與提示搭配使用的基礎模型推論設定檔,請輸入其 ARN 或 ID。

    • genAiResource – 若要指定代理程式,請輸入其 ID 或 ARN。的值genAiResource是下列格式的 JSON 物件:

      { "genAiResource": { "agent": { "agentIdentifier": "string" } }
      注意

      如果您包含 genAiResource 欄位,您只能在 主控台中測試提示。若要在 API 中使用 代理程式測試提示,您必須直接在InvokeAgent請求的 inputText 欄位中輸入提示的文字。

  • templateType – Enter TEXTCHATCHAT 僅與支援 Converse API 的模型相容。如果您想要使用提示快取,您必須使用 CHAT 範本類型。

  • templateConfiguration – 值取決於您指定的範本類型:

  • inferenceConfiguration – text 欄位對應至 PromptModelInferenceConfiguration。此欄位包含所有模型通用的推論參數。若要進一步了解推論參數,請參閱 使用推論參數產生影響回應

  • additionalModelRequestFields – 使用此欄位來指定特定於您正在執行推論之模型的推論參數。若要進一步了解模型特定的推論參數,請參閱 基礎模型的推論請求參數和回應欄位

  • 中繼資料 – 要與提示變體建立關聯的中繼資料。您可以將鍵/值對附加到陣列,以使用中繼資料標記提示變體。

下列欄位為選用欄位:

欄位 使用案例
description 提供提示的描述。
clientToken 為確保 API 請求僅完成一次。如需詳細資訊,請參閱確保冪等性。
標籤 將標籤與流程建立關聯。如需詳細資訊,請參閱標記 Amazon Bedrock 資源

回應會建立DRAFT版本,並傳回 ID 和 ARN,您可以將其做為其他提示相關 API 請求的提示識別符。