Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Erweiterte LLM-Einstellungen
Bei der Verwendung von Amazon Bedrock können Sie einige erweiterte Einstellungen für Ihre Modelle wie Amazon Bedrock Guardrails, Provisioned Throughput for Amazon Bedrock und zusätzliche Modellparameter konfigurieren.
Integritätsschutz für Amazon Bedrock
Amazon Bedrock Guardrails ist eine Funktion von Amazon Bedrock, die Benutzereingaben und LLM-Antworten auf der Grundlage von vom Benutzer konfigurierten Richtlinien bewertet und eine zusätzliche Schutzebene bietet, unabhängig vom zugrunde liegenden LLM, das der Benutzer für einen Anwendungsfall auswählt. Ein Guardrail besteht aus zwei Richtlinien zur Vermeidung von Inhalten, die in unerwünschte oder schädliche Kategorien fallen:
-
Abgelehnte Themen, um eine Reihe von Themen zu definieren, die im Zusammenhang mit der Bewerbung des Benutzers unerwünscht sind, z. B. Anlageberatung in einer Finanzanwendung, und
-
Inhaltsfilter****ermöglichen das Filtern von Benutzereingaben oder das Modellieren von Antworten mit schädlichen Inhalten.
Für die Verwendung in der Generative AI Application Builder-Lösung muss ein Guardrail in der Amazon Bedrock-Konsole mithilfe des Assistenten Create Guardrail konfiguriert werden. Nach der Erstellung können Sie diese Guardrail zu Ihrem Chat-Anwendungsfall hinzufügen, der mit dem Generative AI Application Builder-Lösungsassistenten in den zusätzlichen Einstellungen im Schritt Modellauswahl erstellt wurde, indem Sie Ihre Guardrail-ID und Ihre Guardrail-Version angeben.
Zeigt den Bereitstellungsassistenten, der Amazon Bedrock Guardrails aktiviert
Bereitgestellter Durchsatz für Amazon Bedrock
Jedes On-Demand-Modell von Amazon Bedrock folgt einer regionsspezifischen Kontingentbegrenzung für Modellableitungen. Zum Beispiel ermöglicht Anthropic Claude 2.x auf Bedrock derzeit die Verarbeitung von 500 Anfragen und 500.000 Tokens pro Minute in den Regionen us-east-1 und us-west-2. Möglicherweise möchten Sie die Lösung auch mit Ihren fein abgestimmten oder bereits trainierten Modellen verwenden. Für solche Fälle ermöglicht Amazon Bedrock einen bereitgestellten Durchsatz, der die Ausführung großer konsistenter Inferenz-Workloads für Ihre Basis, fein abgestimmte oder fortlaufend vortrainierte Modelle für den Einsatz in produktionstauglichen Anwendungen ermöglicht.
Sobald Provisioned Throughput in der Amazon Bedrock-Konsole gekauft wurde, wird ein Modell-ARN zur Verwendung generiert. Sie können diesen Modell-ARN jetzt im Generative AI Application Builder-Assistenten im Schritt Modellauswahl angeben. Wählen Sie dazu Bedrock als Modellanbieter und den Namen des Basismodells aus, das zur Generierung dieses bereitgestellten Modell-ARN in der Amazon Bedrock-Konsole verwendet wurde. Wählen Sie dann „Bereitgestelltes Modell“, wenn Sie zwischen On-Demand-Modellen und bereitgestellten Modellen wählen, und geben Sie Ihren Modell-ARN an.
Zeigt den Bereitstellungsassistenten — Aktivierung des bereitgestellten Durchsatzes für Amazon Bedrock
Anmerkung
Ihre Leitplanke und Ihr bereitgestellter Durchsatz müssen sich in derselben Region befinden wie das bereitgestellte Deployment Dashboard und die Anwendungsfall-Stacks.
Modellparameter
LLMs akzeptiert häufig eine Vielzahl von Parametern, die für die Implementierung spezifisch sind. Modellanbieter stellen häufig Unterlagen zur Verfügung, in denen der Satz der unterstützten Parameter und deren Verwendung beschrieben wird.
Die Lösung leitet die Modellparameter direkt an das zugrunde liegende Modell weiter. Daher ist es wichtig, sicherzustellen, dass die Parameter korrekt eingestellt sind. Aktuelle Informationen zu den unterstützten Parametern finden Sie in der Dokumentation des Modellanbieters.
