カスタムモデルの推論を設定する

プロビジョンドスループットの購入 – モデル用のプロビジョンドスループットを購入して、スループットが保証された専用のコンピューティング性能を設定し、一貫したパフォーマンスと低レイテンシーを確保します。

プロビジョンドスループットの詳細については、「Amazon Bedrock のプロビジョンドスループットでモデル呼び出し容量を増やす」を参照してください。プロビジョンドスループットを使用したカスタムモデルの使用の詳細については、「カスタムモデルのプロビジョンドスループットを購入する」を参照してください。

オンデマンド推論用のカスタムモデルのデプロイ – オンデマンド推論を設定するには、カスタムモデルデプロイを使用してモデルをデプロイします。モデルのデプロイ後、カスタムモデルデプロイの ARN を使用してモデルを呼び出します。オンデマンド推論では、使用した分に対してのみ料金が発生します。プロビジョンしたコンピューティングリソースを設定する必要はありません。

オンデマンド推論用のカスタムモデルのデプロイの詳細については、「オンデマンド推論用のカスタムモデルをデプロイする」を参照してください。