設定自訂模型的推論 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

設定自訂模型的推論

建立自訂模型後,您可以使用下列其中一個選項設定推論:

  • 購買佈建輸送量 – 為您的模型購買佈建輸送量,以設定具有保證輸送量的專用運算容量,以實現一致的效能和更低的延遲。

    如需佈建輸送量的詳細資訊,請參閱 使用 Amazon Bedrock 中的佈建輸送量增加模型調用容量。如需搭配佈建輸送量使用自訂模型的詳細資訊,請參閱 購買自訂模型的佈建輸送量

  • 部署隨需推論的自訂模型 (僅限Amazon Nova模型) – 若要設定隨需推論,您可以使用自訂模型部署來部署模型。部署模型之後,您可以使用自訂模型部署的 ARN 叫用模型。透過隨需推論,您只需支付使用量的費用,而且不需要設定佈建的運算資源。

    如需部署自訂模型以進行隨需推論的詳細資訊,請參閱 部署自訂模型以進行隨需推論