本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
了解不同模型推論方法的使用案例
您可以透過下列方式直接執行模型推論:
| 方法 | 使用案例 |
|---|---|
| Amazon Bedrock 主控台遊樂場 | 在易於使用的圖形界面中執行推論。方便探索。 |
| Converse 或 ConverseStream | 使用統一 API 實作對話式應用程式以進行模型輸入。 |
| InvokeModel 或 InvokeModelWithResponseStream | 提交單一提示並同步產生回應。可用於即時產生回應或搜尋查詢。 |
| StartAsyncInvoke | 提交單一提示並以非同步方式產生回應。適用於大規模產生回應。 |
| CreateModelInvocationJob | 準備提示資料集,並批次產生回應。 |
下列 Amazon Bedrock 功能也會使用模型推論作為較大工作流程中的步驟:
-
在您提交 CreateEvaluationJob 請求後,模型評估會使用模型調用程序來評估不同模型的效能。
-
知識庫使用 RetrieveAndGenerate API 來根據從知識庫擷取的結果產生回應時,會使用模型調用。
-
客服人員在InvokeAgent請求期間使用模型調用在各個階段產生回應。
-
流程包括使用模型調用的 Amazon Bedrock 資源,例如提示、知識庫和代理程式。
使用不同的提示和推論參數測試不同的基礎模型之後,您可以設定應用程式,以使用所需的規格呼叫這些 APIs。