View a markdown version of this page

Stellen Sie Ihre Modelle auf einem Endpunkt bereit - Amazon SageMaker KI
BerechtigungsverwaltungBereitstellen eines Modells

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Stellen Sie Ihre Modelle auf einem Endpunkt bereit

In Amazon SageMaker Canvas können Sie Ihre Modelle an einem Endpunkt bereitstellen, um Vorhersagen zu treffen. SageMaker KI stellt Ihnen die ML-Infrastruktur zur Verfügung, mit der Sie Ihr Modell auf einem Endpunkt mit den von Ihnen ausgewählten Recheninstanzen hosten können. Anschließend können Sie den Endpunkt aufrufen (eine Prognoseanfrage senden) und anhand Ihres Modells eine Vorhersage in Echtzeit abrufen. Mit dieser Funktion können Sie Ihr Modell in der Produktion verwenden, um auf eingehende Anfragen zu antworten, und Sie können Ihr Modell in bestehende Anwendungen und Workflows integrieren.

Zu Beginn sollten Sie über ein Modell verfügen, das Sie bereitstellen möchten. Sie können benutzerdefinierte Modellversionen, die Sie erstellt haben, SageMaker JumpStart Amazon-Foundation-Modelle und fein abgestimmte JumpStart Foundation-Modelle bereitstellen. Für weitere Informationen zum Erstellen eines Modells in Canvas, siehe So funktionieren benutzerdefinierte Modelle. Weitere Informationen zu JumpStart Foundation-Modellen in Canvas finden Sie unterGenerative KI-Grundmodelle in SageMaker Canvas.

Lesen Sie den folgenden Abschnitt zur Rechteverwaltung und beginnen Sie dann im Abschnitt Modell bereitstellen mit der Erstellung neuer Bereitstellungen.

Berechtigungsverwaltung

Standardmäßig haben Sie die Berechtigung, Modelle auf SageMaker AI Hosting-Endpunkten bereitzustellen. SageMaker AI gewährt diese Berechtigungen für alle neuen und vorhandenen Canvas-Benutzerprofile über die AmazonSageMakerCanvasFullAccess Richtlinie, die der AWS IAM-Ausführungsrolle für die SageMaker AI-Domäne zugeordnet ist, die Ihre Canvas-Anwendung hostet.

Wenn Ihr Canvas-Administrator eine neue Domain oder ein neues Benutzerprofil einrichtet und die erforderlichen Anweisungen in der befolgtVoraussetzungen für die Einrichtung von Amazon SageMaker Canvas, aktiviert SageMaker AI die Modellbereitstellungsberechtigungen über die Option Direkte Bereitstellung von Canvas-Modellen aktivieren, die standardmäßig aktiviert ist.

Der Canvas-Administrator kann die Berechtigungen für die Modellbereitstellung auch auf Benutzerprofilebene verwalten. Wenn der Administrator beispielsweise bei der Einrichtung einer Domain nicht allen Benutzerprofilen Berechtigungen für die Modellbereitstellung gewähren möchte, kann er bestimmten Benutzern Berechtigungen gewähren, nachdem die Domain erstellt wurde.

Das folgende Verfahren zeigt, wie die Berechtigungen zur Modellbereitstellung für ein bestimmtes Benutzerprofil geändert werden:

  1. Öffnen Sie die SageMaker AI-Konsole unter https://console.aws.amazon.com/sagemaker/.

  2. Wählen Sie im linken Navigationsbereich Admin-Konfigurationen.

  3. Wählen Sie unter Admin Konfigurationen die Option Domains aus.

  4. Wählen Sie aus der Liste der Domains die Domain des Benutzerprofils aus.

  5. Wählen Sie auf der Seite mit den Domaindetails die Registerkarte Benutzerprofile aus.

  6. Wählen Sie Ihr Benutzerprofil aus.

  7. Wählen Sie auf der Seite mit dem Benutzerprofil die Registerkarte App-Konfigurationen aus.

  8. Klicken Sie im Abschnitt Canvas auf Bearbeiten.

  9. Deaktivieren Sie im Abschnitt ML-Ops-Konfiguration die Option Direkte Bereitstellung von Canvas-Modellen aktivieren, um Bereitstellungsberechtigungen zu aktivieren.

  10. Wählen Sie Absenden aus, um die Änderungen an Ihren Domaineinstellungen zu speichern.

Das Benutzerprofil sollte keine Berechtigungen für die Modellbereitstellung haben.

Nachdem Sie die Berechtigungen für die Domain oder das Benutzerprofil erteilt haben, stellen Sie sicher, dass sich der Benutzer aus seiner Canvas-Anwendung abmeldet und erneut anmeldet, damit die Berechtigungsänderungen übernommen werden.

Bereitstellen eines Modells

Um mit der Bereitstellung Ihres Modells zu beginnen, erstellen Sie eine neue Bereitstellung in Canvas und geben die Modellversion an, die Sie zusammen mit der ML-Infrastruktur bereitstellen möchten, z. B. den Typ und die Anzahl der Rechen-Instances, die Sie zum Hosten des Modells verwenden möchten.

Canvas schlägt basierend auf Ihrem Modelltyp einen Standardtyp und eine Standardanzahl von Instances vor. Weitere Informationen zu den verschiedenen SageMaker AI-Instance-Typen finden Sie auf der SageMaker Amazon-Preisseite. Solange Ihr Endpunkt aktiv ist, werden Ihnen die Preise für SageMaker AI-Instances berechnet.

Bei der Bereitstellung von JumpStart Foundation-Modellen haben Sie auch die Möglichkeit, die Dauer der Bereitstellung anzugeben. Sie können das Modell auf unbestimmte Zeit auf einem Endpunkt bereitstellen (d. h. der Endpunkt bleibt aktiv, bis Sie die Bereitstellung löschen). Oder, wenn Sie den Endpunkt nur für einen kurzen Zeitraum benötigen und die Kosten senken möchten, können Sie das Modell für einen bestimmten Zeitraum auf einem Endpunkt bereitstellen. Danach fährt die SageMaker KI den Endpunkt für Sie herunter.

Anmerkung

Wenn Sie ein Modell für einen bestimmten Zeitraum bereitstellen, bleiben Sie für die Dauer des Endpunkts in der Canvas-Anwendung angemeldet. Wenn Sie sich von der Anwendung abmelden oder sie löschen, kann Canvas den Endpunkt zum angegebenen Zeitpunkt nicht herunterfahren.

Nachdem Ihr Modell auf einem SageMaker AI-Hosting-Echtzeit-Inferenzendpunkt bereitgestellt wurde, können Sie damit beginnen, Vorhersagen zu treffen, indem Sie den Endpunkt aufrufen.

Es gibt verschiedene Möglichkeiten, ein Modell von der Canvas-Anwendung aus bereitzustellen. Sie können mit einer der folgenden Methoden auf die Modellbereitstellungsoption zugreifen:

  • Wählen Sie auf der Seite Meine Modelle der Canvas-Anwendung das Modell aus, das Sie bereitstellen möchten. Anschließend wählen Sie auf der Seite Versionen des Modells das Symbol Weitere Optionen ( Vertical ellipsis icon representing a menu or more options. ) neben einer Modellversion und Bereitstellen aus.

  • Wenn Sie sich auf der Detailseite für eine Modellversion auf der Registerkarte Analysieren befinden, wählen Sie die Option Bereitstellen aus.

  • Wenn Sie sich auf der Detailseite für eine Modellversion auf der Registerkarte Prognose befinden, wählen Sie oben auf der Seite das Symbol Weitere Optionen ( ) und dann Bereitstellen aus.

  • Auf der Seite ML Ops der Canvas-Anwendung wählen Sie die Registerkarte Bereitstellungen und dann Bereitstellung erstellen aus.

  • JumpStart Fundamentmodelle und fein abgestimmte Foundation-Modelle finden Sie auf der Ready-to-use Modellseite der Canvas-Anwendung. Wählen Sie Inhalt generieren, extrahieren und zusammenfassen. Suchen Sie dann nach dem JumpStart Foundation-Modell oder dem fein abgestimmten Foundation-Modell, das Sie bereitstellen möchten. Wählen Sie das Modell aus und klicken Sie auf der Chat-Seite des Modells auf die Schaltfläche Bereitstellen.

Bei all diesen Methoden wird der Seitenbereich Deploy-Modell geöffnet, in dem Sie die Bereitstellungskonfiguration für Ihr Modell angeben. Um das Modell über diesen Bereich bereitzustellen, führen Sie die folgenden Schritte aus:

  1. (Optional) Wenn Sie eine Bereitstellung auf der Seite ML Ops erstellen, haben Sie die Möglichkeit, Modell und Version auszuwählen. Verwenden Sie die Dropdown-Menüs, um das Modell und die Modellversion auszuwählen, die Sie bereitstellen möchten.

  2. Geben Sie einen Namen in das Feld Bereitstellungsname ein.

  3. (Nur für JumpStart Foundation-Modelle und fein abgestimmte Foundation-Modelle) Wählen Sie eine Bereitstellungsdauer. Wählen Sie Unbegrenzt aus, um den Endpunkt so lange aktiv zu lassen, bis Sie ihn herunterfahren, oder wählen Sie Dauer festlegen aus und geben Sie dann den Zeitraum ein, für den der Endpunkt aktiv bleiben soll.

  4. Für den Instanztyp erkennt die SageMaker KI einen Standard-Instanztyp und eine Standard-Instanznummer, die für Ihr Modell geeignet sind. Sie können jedoch den Instance-Typ ändern, den Sie für das Hosten Ihres Modells verwenden möchten.

    Anmerkung

    Wenn Ihnen das Instanzkontingent für den ausgewählten Instanztyp in Ihrem AWS Konto ausgeht, können Sie eine Kontingenterhöhung beantragen. Weitere Informationen zu den Standardkontingenten und dazu, wie Sie eine Erhöhung beantragen können, finden Sie im AWS Allgemeinen Referenzhandbuch unter Amazon SageMaker AI-Endpunkte und -Kontingente.

  5. Für die Anzahl der Instances können Sie die Anzahl der aktiven Instances festlegen, die für Ihren Endpunkt verwendet werden. SageMaker AI erkennt eine Standardnummer, die für Ihr Modell geeignet ist, aber Sie können diese Zahl ändern.

  6. Wenn Sie bereit sind, Ihr Modell bereitzustellen, wählen Sie Bereitstellen aus.

Ihr Modell sollte jetzt auf einem Endpunkt bereitgestellt werden.