了解不同模型推論方法的使用案例 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

了解不同模型推論方法的使用案例

您可以透過下列方式直接執行模型推論:

方法 使用案例
Amazon Bedrock 主控台遊樂場 在易於使用的圖形界面中執行推論。方便探索。
ConverseConverseStream 使用統一 API 實作對話式應用程式以進行模型輸入。
InvokeModelInvokeModelWithResponseStream 提交單一提示並同步產生回應。可用於即時產生回應或搜尋查詢。
StartAsyncInvoke 提交單一提示並以非同步方式產生回應。適用於大規模產生回應。
CreateModelInvocationJob 準備提示資料集,並批次產生回應。

下列 Amazon Bedrock 功能也會使用模型推論作為較大工作流程中的步驟:

使用不同的提示和推論參數測試不同的基礎模型之後,您可以設定應用程式,以使用所需的規格呼叫這些 APIs。