Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Benutze die Lösung
Zugriff auf die Benutzeroberfläche
Während des Stack-Bereitstellungsprozesses (sowohl für das Deployment-Dashboard als auch für Anwendungsfälle) wird eine E-Mail an die konfigurierte E-Mail-Adresse gesendet. Die E-Mail enthält die temporären Anmeldeinformationen des Benutzers, mit denen er sich registrieren und auf die Weboberfläche zugreifen kann.
Anmerkung
Der DevOps Benutzer mit Zugriff auf die AWS-Managementkonsole muss dem Admin-Benutzer die CloudFront URL der Deployment-Dashboard-Benutzeroberfläche mitteilen, wenn der Stack abgeschlossen ist.
Für die Anwendungsfälle muss der Admin-Benutzer mit Zugriff auf die Benutzeroberfläche des Deployment-Dashboards dem Geschäftsbenutzer die CloudFront URL der Anwendungsfall-Benutzeroberfläche mitteilen, wenn die Bereitstellung abgeschlossen ist.
Sobald der Benutzer angemeldet ist, kann er mit der Lösung interagieren UIs, entweder mit dem Deployment-Dashboard im Fall von Administratoren oder mit dem Anwendungsfall im Fall von Geschäftsbenutzern.
Wie aktualisiert man ein Deployment
Wenn Sie sich auf der Startseite des Bereitstellungs-Dashboards (oder der Detailseite einer Bereitstellung) befinden, können Sie die von einer Bereitstellung verwendete Konfiguration bearbeiten. Sie können nur Bereitstellungen bearbeiten, die sich im Status CREATE_COMPLETE oder UPDATE_COMPLETE befinden.
Mit Ausnahme des Anwendungsfallnamens können alle anderen Optionen für eine Bereitstellung bearbeitet werden. Ändern Sie einfach die Werte, die Sie bearbeiten und erneut bereitstellen möchten.
Je nach Umfang der vorgenommenen Änderungen variiert die Dauer der erneuten Bereitstellung. Es kann einige Sekunden dauern, wenn sich einfache Einstellungen geändert haben (z. B. Modellparameter), und mehr als 30 Minuten, wenn sich größere infrastrukturbezogene Optionen geändert haben (z. B. die Anforderung, den Amazon Kendra Kendra-Index für den Text-Anwendungsfall RAG zu erstellen).
Sobald die Bearbeitung erfolgreich abgeschlossen wurde, meldet der Anwendungsstatus den Status UPDATE_COMPLETE. Zu diesem Zeitpunkt können Sie über die CloudFront URL auf die bereitgestellte Benutzeroberfläche zugreifen und mit der geänderten Bereitstellung interagieren.
Anmerkung
Möglicherweise ist es einfacher, mehrere Bereitstellungen auszuführen, side-by-side wenn Sie verschiedene Einstellungen vergleichen möchten oder LLMs. Verwenden Sie die Clone-Funktion, um schnell eine bestehende Konfiguration zu verwenden, um eine neue Bereitstellung zu starten.
Wie klont man eine Bereitstellung
Wenn Sie auf der Startseite des Bereitstellungs-Dashboards (oder der Detailseite einer Bereitstellung) die von einer Bereitstellung verwendete Konfiguration klonen können. Beim Klonen einer Bereitstellung wird der Assistent zum Bereitstellen neuer Anwendungsfälle gestartet, wobei die meisten Felder jedoch bereits mit denselben Werten gefüllt sind.
Dies ist ein praktischer Vorgang, mit dem Sie schnell Bereitstellungen mit geänderten Einstellungen duplizieren, eine gelöschte Bereitstellung wiederbeleben oder mehrere Bereitstellungen LLMs in ansonsten identischen Bereitstellungen vergleichen können.
Wie lösche ich eine Bereitstellung
Wenn Sie sich auf der Startseite des Bereitstellungs-Dashboards (oder der Detailseite einer Bereitstellung) befinden, können Sie sie löschen, sobald Sie die Bereitstellung nicht mehr benötigen. Durch das Löschen einer Bereitstellung wird ein CloudFormation Stack-Löschvorgang aufgerufen und die Bereitstellung der Ressourcen für die Bereitstellung aufgehoben.
Standardmäßig verbleibt eine gelöschte Bereitstellung weiterhin auf dem Dashboard, um die Klonfunktion zu aktivieren. Um eine Bereitstellung vollständig aus dem Dashboard zu entfernen, sodass sie nicht mehr in der Benutzeroberfläche verfolgt wird, wählen Sie im Bestätigungsfenster für das Löschen die Option Dauerhaft löschen aus.
Wichtig
Einige Ressourcen bleiben beim Löschen des Stacks zurück und müssen manuell gelöscht werden. Einzelheiten darüber, welche Ressourcen beibehalten werden und wie sie bereinigt werden, finden Sie im Abschnitt Manuelle Deinstallation.
Verwendung von Amazon SageMaker AI als LLM-Anbieter
Ab Version 1.3.0 ist Amazon SageMaker AI
Wichtig
Die Lösung verwaltet nicht den Lebenszyklus Ihrer SageMaker KI-Endpunkte. Sie sind dafür verantwortlich, die SageMaker KI-Endpunkte zu löschen, sobald sie nicht mehr benötigt werden, damit keine zusätzlichen Kosten mehr anfallen.
Einen KI-Endpunkt erstellen SageMaker
Sie können Amazon SageMaker AI
Sie können auch einen SageMaker KI-Endpunkt verwenden, der auf Textgenerierung basiert, und die Bereitstellung mithilfe des SageMaker KI-Basisdienstes durchführen. In der SageMaker JumpStart KI-Dokumentation finden Sie eine schrittweise Anleitung zur Implementierung eines Inferenzmodells.
Anmerkung
models/LLMs Foundations sind in der Regel recht groß und erfordern häufig die Verwendung großer beschleunigter Recheninstanzen. Viele dieser größeren Instances sind möglicherweise nicht standardmäßig in Ihrem AWS-Konto verfügbar. Beachten Sie die standardmäßigen SageMaker KI-Kontingente und stellen Sie sicher, dass Sie vor der Bereitstellung eine Erhöhung des Kontingents beantragen, um häufige Bereitstellungsfehler zu vermeiden.
Verwenden Sie den SageMaker KI-Endpunkt, um eine Bereitstellung für einen Text-Anwendungsfall zu erstellen
So stellen Sie einen neuen Text-Anwendungsfall mithilfe eines SageMaker KI-Endpunkts für Inferenz bereit:
-
Erstellen Sie mit dem Assistenten für das Bereitstellungs-Dashboard einen neuen Anwendungsfall und füllen Sie die Formulare aus, bis Sie zur Seite mit der Modellauswahl gelangen.
-
Wählen Sie auf der Seite Modelle SageMaker AI als Modellanbieter aus. Dadurch wird ein benutzerdefiniertes Formular generiert, das drei wichtige Benutzereingaben erfordert:
-
Der Name des SageMaker KI-Endpunkts, den Sie verwenden möchten. DevOps Benutzer können dies über die AWS-Konsole abrufen. Beachten Sie, dass sich der Endpunkt in demselben Konto und derselben Region befinden muss, in der die Lösung bereitgestellt wird.
Speicherort des Endpunktnamens auf der AWS-Konsole
-
Das Schema der Eingabe-Payload, die vom Endpunkt erwartet wird. Um die größtmögliche Anzahl von Endpunkten zu unterstützen, müssen Admin-Benutzer der Lösung mitteilen, wie ihr Endpunkt die Formatierung der Eingabe erwartet. Geben Sie im Assistenten zur Modellauswahl das JSON-Schema für die Lösung an, das an den Endpunkt gesendet werden soll. Sie können Platzhalter hinzufügen, um statische und dynamische Werte in die Payload der Anfrage einzufügen. Die folgenden Optionen sind verfügbar:
-
Obligatorische Platzhalter:\ < <prompt\ >\\ > werden dynamisch durch die vollständige Eingabe (z. B. Verlauf, Kontext und Benutzereingaben gemäß der Eingabeaufforderungsvorlage) ersetzt, die zur Laufzeit an den SageMaker KI-Endpunkt gesendet wird.
-
Optionale Platzhalter:\ <\ <temperature\ >\ > *,\ * sowie alle Parameter, die in erweiterten Modellparametern definiert sind, können dem Endpunkt zur Verfügung gestellt werden. Jede Zeichenfolge, die einen in\ <\ < and\ >\ > eingeschlossenen Platzhalter enthält (z. B. <max_new_tokens\ >\ <\\ >), wird durch den Wert des gleichnamigen erweiterten Modellparameters ersetzt.
Beispiel für ein Eingabeschema — Festlegung der Pflichtfelder, der Eingabeaufforderung und der Temperatur sowie eines benutzerdefinierten erweiterten Parameters, max_new_tokens. Der Ausgabepfad muss als gültige Zeichenfolge angegeben werden JSONPath
-
-
-
Die Position der LLMs generierten Zeichenkettenantwort innerhalb der Ausgabe-Payload. Dies muss als JSONPath Ausdruck angegeben werden, um anzugeben, wo auf die endgültige Textantwort, die den Benutzern angezeigt wird, voraussichtlich innerhalb des Rückgabeobjekts und der Antwort des Endpunkts zugegriffen wird.
Beispiel für das Hinzufügen erweiterter Modellparameter zur Verwendung innerhalb des SageMaker AI-Eingabeschemas (siehe Abbildung 2 für frühere Optionen/Einstellungen)
Anmerkung
SageMaker AI unterstützt jetzt das Hosten mehrerer Modelle hinter demselben Endpunkt. Dies ist die Standardkonfiguration bei der Bereitstellung eines Endpunkts in der aktuellen Version von SageMaker AI Studio (nicht Studio Classic).
Wenn Ihr Endpunkt auf diese Weise konfiguriert ist, müssen Sie dem Abschnitt mit den erweiterten Modellparametern einen Wert hinzufügen InferenceComponentName, der dem Namen des Modells entspricht, das Sie verwenden möchten.
