部署自訂模型以進行隨需推論 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

部署自訂模型以進行隨需推論

使用模型自訂任務建立自訂模型或匯入 SageMaker AI 訓練的自訂Amazon Nova模型後,您可以為模型設定隨需推論。透過隨需推論,您只需支付使用量的費用,而且不需要設定佈建的運算資源。

若要設定自訂模型的隨需推論,您可以使用自訂模型部署進行部署。部署自訂模型之後,當您提交提示並使用模型推論產生回應時,請使用部署的 Amazon Resource Name (ARN) 做為 modelId 參數。

如需隨需推論定價的資訊,請參閱 Amazon Bedrock 定價。您可以在下列區域中部署用於隨需推論的自訂模型 (如需 Amazon Bedrock 支援區域的詳細資訊,請參閱 Amazon Bedrock 端點和配額):

  • 美國東部 (維吉尼亞北部)

支援的基礎模型

您可以為下列基本模型設定隨需推論:

  • Amazon Nova Lite

  • Amazon Nova Micro

  • Amazon Nova Pro