Bereitstellen eines benutzerdefinierten Modells für On-Demand-Inferenz - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bereitstellen eines benutzerdefinierten Modells für On-Demand-Inferenz

Nachdem Sie ein benutzerdefiniertes Modell mit einem Modellanpassungsauftrag erstellt oder ein von SageMaker AI trainiertes benutzerdefiniertes Amazon Nova-Modell importiert haben, können Sie On-Demand-Inferenz für das Modell einrichten. Bei On-Demand-Inferenz zahlen Sie nur für das, was Sie tatsächlich nutzen. Zudem müssen Sie keine bereitgestellten Rechenressourcen einrichten.

Um On-Demand-Inferenz für ein benutzerdefiniertes Modell einzurichten, stellen Sie es mit einer benutzerdefinierten Modellbereitstellung bereit. Nach Bereitstellung des benutzerdefinierten Modells verwenden Sie den Amazon-Ressourcennamen (ARN) der Bereitstellung als Parameter modelId, wenn Sie Prompts senden und Antworten mit Modellinferenz generieren.

Weitere Informationen zur Preisgestaltung für On-Demand-Inferenz finden Sie unter Amazon Bedrock – Preise. Sie können ein benutzerdefiniertes Modell für On-Demand-Inferenz in den folgenden Regionen bereitstellen (weitere Informationen zu den in Amazon Bedrock unterstützten Regionen finden Sie unter Amazon-Bedrock-Endpunkte und -Kontingente):

  • USA Ost (Nord-Virginia)

  • USA West (Oregon)

Unterstützte Basismodelle

Sie können On-Demand-Inferenz für die folgenden Basismodelle einrichten:

  • Amazon Nova Lite

  • Amazon Nova Micro

  • Amazon Nova Pro

  • Meta Llama 3.3 70B Instruct