Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Generative KI-Grundmodelle in SageMaker Canvas
Amazon SageMaker Canvas bietet generative KI-Grundmodelle, mit denen Sie Konversationschats starten können. Diese Modelle zur Inhaltsgenerierung werden anhand großer Textdatenmengen trainiert, um die statistischen Muster und Beziehungen zwischen Wörtern zu lernen. Sie können kohärenten Text erzeugen, der dem Text, an dem sie trainiert wurden, statistisch ähnlich ist. Sie können diese Funktion verwenden, um Ihre Produktivität zu steigern, indem Sie wie folgt vorgehen:
+ Generieren Sie Inhalte wie Dokumententwürfe, Berichte und Blogs
+ Fassen Sie Text aus umfangreichen Textkorporen zusammen, z. B. Abschriften von Telefongesprächen, Jahresberichten oder Kapiteln von Benutzerhandbüchern
+ Extrahieren Sie Erkenntnisse und wichtige Erkenntnisse aus großen Textpassagen, z. B. Besprechungsnotizen oder Erzählungen
+ Verbessern Sie den Text und finden Sie Grammatik- oder Tippfehler
Die Basismodelle sind eine Kombination aus den großen Sprachmodellen von [Amazon SageMaker JumpStart und Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-service.html) (LLMs). Canvas bietet die folgenden Modelle:
| Modell | Typ | Description |
| --- | --- | --- |
| Amazon Titan | Amazon Bedrock-Modell | Amazon Titan ist ein leistungsstarkes, universelles Sprachmodell, das Sie für Aufgaben wie Zusammenfassung, Textgenerierung (wie das Erstellen eines Blogbeitrags), Klassifizierung, offene Fragen und Antworten und Informationsextraktion verwenden können. Es ist für große Datenmengen vortrainiert und eignet sich daher für komplexe Aufgaben und Argumentation. Um weiterhin bewährte Verfahren für den verantwortungsvollen Umgang mit KI zu unterstützen, sind Amazon-Titan-Grundlagenmodelle darauf ausgelegt, schädliche Inhalte in den Daten zu erkennen und zu entfernen, unangemessene Inhalte in der Benutzereingabe zurückzuweisen und Modellausgaben zu filtern, die unangemessene Inhalte (wie Hassreden, Obszönitäten und Gewalt) enthalten. |
| Anthropic Claude Instant | Modell Amazon Bedrock | Claude Instant von Anthropic ist ein schnelleres und kostengünstigeres und dennoch sehr leistungsfähiges Modell. Dieses Modell kann eine Reihe von Aufgaben bewältigen, darunter zufällige Dialoge, Textanalyse, Zusammenfassung und Beantwortung von Fragen zu Dokumenten. Genau wie Claude-2 kann Claude Instant bis zu 100.000 Token pro Aufforderung unterstützen, was etwa 200 Informationsseiten entspricht. |
| Anthropic Claude-2 | Modell Amazon Bedrock | Claude-2 ist das leistungsstärkste Modell von Anthropic, das sich durch eine Vielzahl von Aufgaben auszeichnet, von anspruchsvollen Dialogen und der Erstellung kreativer Inhalte bis hin zu detaillierten Anweisungen. Claude-2 kann in jeder Aufforderung bis zu 100.000 Tokens aufnehmen, was etwa 200 Informationsseiten entspricht. Es kann im Vergleich zur Vorgängerversion längere Antworten generieren. Es unterstützt Anwendungsfälle wie die Beantwortung von Fragen, die Extraktion von Informationen, das Entfernen personenbezogener Daten, die Generierung von Inhalten, die Multiple-Choice-Klassifizierung, Rollenspiele, den Textvergleich, die Zusammenfassung und Fragen und Antworten zu Dokumenten mit Zitat. |
| Falcon-7B-Instruct | JumpStart Modell | Falcon-7B-Instruct verfügt über 7 Milliarden Parameter und wurde anhand einer Mischung aus Chat- und Instruct-Datensätzen fein abgestimmt. Es eignet sich als virtueller Assistent und schneidet am besten ab, wenn es Anweisungen befolgt oder Gespräche führt. Da das Modell anhand großer Mengen englischsprachiger Webdaten trainiert wurde, trägt es die Stereotypen und Vorurteile, die häufig im Internet zu finden sind, und ist nicht für andere Sprachen als Englisch geeignet. Im Vergleich zu Falcon-40B-Instruct ist Falcon-7B-Instruct ein etwas kleineres und kompakteres Modell. |
| Falcon-40B-Instruct | JumpStart Modell | Falcon-40B-Instruct verfügt über 40 Milliarden Parameter und wurde anhand einer Mischung aus Chat- und Instruct-Datensätzen fein abgestimmt. Er eignet sich als virtueller Assistent und schneidet am besten ab, wenn er Anweisungen befolgt oder ein Gespräch führt. Da das Modell anhand großer Mengen englischsprachiger Webdaten trainiert wurde, trägt es die Stereotypen und Vorurteile, die häufig im Internet zu finden sind, und ist nicht für andere Sprachen als Englisch geeignet. Im Vergleich zu Falcon-7B-Instruct ist Falcon-40B-Instruct ein etwas größeres und leistungsstärkeres Modell. |
| Jurassic-2 Mid | Modell Amazon Bedrock | Jurassic-2 Mid ist ein leistungsstarkes Modell zur Textgenerierung, das auf einem riesigen Textkorpus trainiert wurde (aktuell bis Mitte 2022). Es ist äußerst vielseitig, universell einsetzbar und in der Lage, menschenähnlichen Text zu verfassen und komplexe Aufgaben wie die Beantwortung von Fragen, Textklassifizierung und viele andere zu lösen. Dieses Modell bietet die Möglichkeit, alle Anweisungen zu erstellen, sodass es nur mit natürlicher Sprache und ohne die Verwendung von Beispielen gesteuert werden kann. Es arbeitet bis zu 30% schneller als sein Vorgänger, das Jurassic-1-Modell. Jurassic-2 Mid AI21 ist das mittelgroße Modell, das sorgfältig entworfen wurde, um das richtige Gleichgewicht zwischen außergewöhnlicher Qualität und Erschwinglichkeit zu finden. |
| Jurassic-2 Ultra | Modell Amazon Bedrock | Jurassic-2 Ultra ist ein leistungsstarkes Modell zur Textgenerierung, das auf einem riesigen Textkorpus trainiert wurde (aktuell bis Mitte 2022). Es ist äußerst vielseitig, universell einsetzbar und in der Lage, menschenähnlichen Text zu verfassen und komplexe Aufgaben wie die Beantwortung von Fragen, Textklassifizierung und viele andere zu lösen. Dieses Modell bietet die Möglichkeit, alle Anweisungen zu erstellen, sodass es nur mit natürlicher Sprache und ohne die Verwendung von Beispielen gesteuert werden kann. Es arbeitet bis zu 30% schneller als sein Vorgänger, das Jurassic-1-Modell. Im Vergleich zu Jurassic-2 Mid ist Jurassic-2 Ultra ein etwas größeres und leistungsstärkeres Modell. |
| Llama-2-7b-Chat | JumpStart Modell | Llama-2-7b-Chat ist ein Grundlagenmodell von Meta, das sich für sinnvolle und kohärente Gespräche, die Generierung neuer Inhalte und die Extraktion von Antworten aus bestehenden Notizen eignet. Da das Modell anhand umfangreicher englischsprachiger Internetdaten trainiert wurde, weist es die im Internet häufig anzutreffenden Verzerrungen und Einschränkungen auf und eignet sich am besten für Aufgaben in englischer Sprache. |
| Llama-2-13B-Chat | Modell Amazon Bedrock | Llama-2-13B-Chat von Meta wurde nach einem ersten Training mit Internetdaten anhand von Konversationsdaten optimiert. Es ist für natürliche Dialoge und ansprechende Chat-Fähigkeiten optimiert und eignet sich daher gut als Konversationsagent. Im Vergleich zum kleineren Llama-2-7b-Chat verfügt Llama-2-13B-Chat über nahezu doppelt so viele Parameter, wodurch es mehr Kontext speichern und differenziertere Gesprächsantworten generieren kann. Wie Llama-2-7b-Chat wurde auch Llama-2-13B-Chat mit englischsprachigen Daten trainiert und eignet sich am besten für Aufgaben in englischer Sprache. |
| Llama-2-70B-Chat | Modell Amazon Bedrock | Ähnlich wie Llama-2-7b-Chat und Llama-2-13B-Chat ist das Modell Llama-2-70B-Chat von Meta für natürliche und aussagekräftige Dialoge optimiert. Mit 70 Milliarden Parametern kann dieses umfangreiche Konversationsmodell im Vergleich zu den kompakteren Modellversionen einen größeren Kontext speichern und äußerst kohärente Antworten generieren. Dies geht jedoch mit langsameren Reaktionszeiten und einem höheren Ressourcenbedarf einher. Llama-2-70B-Chat wurde mit umfangreichen englischsprachigen Internetdaten trainiert und eignet sich am besten für Aufgaben in englischer Sprache. |
| Mistral-7B | JumpStart Modell | Mistral-7B von Mistral.AI ist ein hervorragendes Allzweck-Sprachmodell, das sich für eine Vielzahl von Aufgaben im Bereich der natürlichen Sprache (NLP) eignet, wie beispielsweise Textgenerierung, Zusammenfassung und Beantwortung von Fragen. Es nutzt Grouped-Query Attention (GQA), was schnellere Inferenzgeschwindigkeiten ermöglicht, sodass es eine vergleichbare Leistung wie Modelle mit doppelt oder dreimal so vielen Parametern erzielt. Es wurde anhand einer Mischung aus Textdaten wie Büchern, Websites und wissenschaftlichen Artikeln in englischer Sprache trainiert und eignet sich daher am besten für Aufgaben in englischer Sprache. |
| Mistral-7B-Chat | JumpStart Modell | Mistral-7B-Chat ist ein Konversationsmodell von Mistral.AI, das auf Mistral-7B basiert. Während Mistral-7B sich am besten für allgemeine NLP-Aufgaben eignet, wurde Mistral-7B-Chat speziell auf Konversationsdaten abgestimmt, um seine Fähigkeiten für natürliche, ansprechende Chats zu optimieren. Infolgedessen generiert Mistral-7B-Chat menschlichere Antworten und behält den Kontext früherer Antworten im Gedächtnis. Wie das Modell Mistral-7B eignet sich auch dieses Modell am besten für Aufgaben in englischer Sprache. |
| MPT-7B-Instruct | JumpStart Modell | MPT-7B-Instruct ist ein Modell für ausführliche Anweisungen zur Nachverfolgung von Aufgaben. Es kann Sie beim Schreiben von Aufgaben wie der Textzusammenfassung und der Beantwortung von Fragen unterstützen, sodass Sie Zeit und Mühe sparen. Dieses Modell wurde mit großen, fein abgestimmten Datenmengen trainiert und kann größere Eingaben, wie z. B. komplexe Dokumente, verarbeiten. Verwenden Sie dieses Modell, wenn Sie große Textkörper verarbeiten möchten oder wenn das Modell lange Antworten generieren soll. |
Die Foundation-Modelle von Amazon Bedrock sind derzeit nur in den Regionen USA Ost (Nord-Virginia) und USA West (Oregon) verfügbar. Wenn Sie Foundation-Modelle von Amazon Bedrock verwenden, werden Ihnen außerdem Gebühren auf der Grundlage des Volumens der Eingabe- und Ausgabetokens berechnet, wie von den einzelnen Modellanbietern angegeben. Weitere Informationen finden Sie auf der [Amazon Bedrock-Preisseite](https://aws.amazon.com/bedrock/pricing/). Die JumpStart Basismodelle werden auf SageMaker AI Hosting-Instances bereitgestellt, und Ihnen wird die Nutzungsdauer je nach verwendetem Instanztyp in Rechnung gestellt. Weitere Informationen zu den Kosten der verschiedenen Instance-Typen finden Sie im Abschnitt Amazon SageMaker AI Hosting: Real-Time Inference auf der [SageMaker Preisseite](https://aws.amazon.com/sagemaker/pricing/).
Die Dokumentenabfrage ist eine zusätzliche Funktion, mit der Sie mithilfe von Amazon Kendra in Indizes gespeicherte Dokumente abfragen und Erkenntnisse daraus gewinnen können. Mit dieser Funktion können Sie Inhalte aus dem Kontext dieser Dokumente generieren und Antworten erhalten, die speziell auf Ihren Geschäftsanwendungsfall zugeschnitten sind. Im Gegensatz zu generischen Antworten auf die großen Datenmengen, auf denen die Basismodelle trainiert wurden, basieren. Weitere Informationen über Indizes in Amazon Kendra finden Sie im [Amazon Kendra-Entwicklerhandbuch](https://docs.aws.amazon.com/kendra/latest/dg/what-is-kendra.html).
Wenn Sie Antworten von einem der Grundlagenmodelle erhalten möchten, die auf Ihre Daten und Ihren Anwendungsfall zugeschnitten sind, können Sie die Grundlagenmodelle optimieren. Weitere Informationen hierzu finden Sie unter [Optimieren von Grundlagenmodellen](canvas-fm-chat-fine-tune.md).
Wenn Sie Prognosen von einem Amazon SageMaker JumpStart Foundation-Modell über eine Anwendung oder Website abrufen möchten, können Sie das Modell auf einem SageMaker *KI-Endpunkt* bereitstellen. SageMaker KI-Endpunkte hosten Ihr Modell, und Sie können über Ihren Anwendungscode Anfragen an den Endpunkt senden, um Vorhersagen aus dem Modell zu erhalten. Weitere Informationen finden Sie unter [Stellen Sie Ihre Modelle auf einem Endpunkt bereit](canvas-deploy-model.md).
# Erfüllen Sie die Voraussetzungen für Basismodelle in Canvas SageMaker
In den folgenden Abschnitten werden die Voraussetzungen für die Interaktion mit Foundation-Modellen und die Verwendung der Dokumentabfragefunktion in Canvas beschrieben. Beim restlichen Inhalt dieser Seite wird davon ausgegangen, dass Sie die Voraussetzungen für Foundation-Modelle erfüllt haben. Für die Funktion zur Dokumentenabfrage sind zusätzliche Berechtigungen erforderlich.
## Voraussetzungen für Gründungsmodelle
Die Berechtigungen, die Sie für die Interaktion mit Modellen benötigen, sind in den Berechtigungen für Ready-to-use Canvas-Modelle enthalten. Um die generativen KI-gestützten Modelle in Canvas zu verwenden, müssen Sie bei der Einrichtung Ihrer Amazon SageMaker AI-Domain die **Konfigurationsberechtigungen für Ready-to-use Canvas-Modelle** aktivieren. Weitere Informationen finden Sie unter [Voraussetzungen für die Einrichtung von Amazon SageMaker Canvas](canvas-getting-started.md#canvas-prerequisites). Die **Konfiguration der Ready-to-use Canvas-Modelle** ordnet die [AmazonSageMakerCanvasAIServicesZugriffsrichtlinie](https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol-canvas.html#security-iam-awsmanpol-AmazonSageMakerCanvasAIServicesAccess) der Ausführungsrolle Ihres Canvas-Benutzers AWS Identity and Access Management (IAM) zu. Wenn Sie Probleme mit der Vergabe von Berechtigungen haben, finden Sie weitere Informationen im Thema [Behebung von Problemen bei der Erteilung von Berechtigungen über die SageMaker AI-Konsole](canvas-limits.md#canvas-troubleshoot-trusted-services).
Wenn Sie Ihre Domain bereits eingerichtet haben, können Sie Ihre Domaineinstellungen bearbeiten und die Berechtigungen aktivieren. Anleitungen zum Bearbeiten Ihrer Domaineinstellungen finden Sie unter [Bearbeiten von Domaineinstellungen](domain-edit.md). Gehen Sie bei der Bearbeitung der Einstellungen für Ihre Domain zu den **Canvas-Einstellungen** und aktivieren Sie die Option ** Ready-to-useCanvas-Modelle aktivieren**.
Bei bestimmten JumpStart Foundation-Modellen müssen Sie außerdem eine Erhöhung des SageMaker KI-Instanzkontingents beantragen. Canvas hostet die Modelle, mit denen Sie gerade auf diesen Instances interagieren, aber das Standardkontingent für Ihr Konto ist möglicherweise unzureichend. Wenn bei der Ausführung eines der folgenden Modelle ein Fehler auftritt, fordern Sie eine Erhöhung des Kontingents für die zugehörigen Instance-Typen an:
+ Falcon-40B – `ml.g5.12xlarge`, `ml.g5.24xlarge`
+ Falcon-13B – `ml.g5.2xlarge`, `ml.g5.4xlarge`, `ml.g5.8xlarge`
+ MPT-7B-Instruct – `ml.g5.2xlarge`, `ml.g5.4xlarge`, `ml.g5.8xlarge`
Fordern Sie für die vorherigen Instance-Typen eine Erhöhung der Endpunktnutzungsquote von 0 auf 1 an. Weitere Informationen zum Erhöhen der Instance-Kontingente für Ihr Konto finden Sie unter [Anfordern einer Kontingentserhöhung](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html) im *Service Quotas-Benutzerhandbuch*.
## Voraussetzungen für das Abfragen von Dokumenten
**Anmerkung**
Die Dokumentabfrage wird in den folgenden Ländern unterstützt AWS-Regionen: USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), Europa (Irland), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio) und Asien-Pazifik (Mumbai).
Die Funktion zur Dokumentenabfrage setzt voraus, dass Sie bereits über einen Amazon Kendra-Index verfügen, in dem Ihre Dokumente und Dokumentmetadaten gespeichert sind. Weitere Informationen zu Amazon Kendra finden Sie im [Amazon Kendra-Entwicklerhandbuch](https://docs.aws.amazon.com/kendra/latest/dg/what-is-kendra.html). Weitere Informationen zu den Kontingenten für die Abfrage von Indizes finden Sie unter [Kontingente](https://docs.aws.amazon.com/kendra/latest/dg/quotas.html) im *Amazon Kendra-Benutzerhandbuch*.
Sie müssen auch sicherstellen, dass Ihr Canvas-Benutzerprofil über die erforderlichen Berechtigungen für die Dokumentenabfrage verfügt. Die [AmazonSageMakerCanvasFullAccess](https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AmazonSageMakerCanvasFullAccess.html)Richtlinie muss der AWS IAM-Ausführungsrolle für die SageMaker AI-Domäne angehängt werden, die Ihre Canvas-Anwendung hostet (diese Richtlinie ist standardmäßig an alle neuen und vorhandenen Canvas-Benutzerprofile angehängt). Sie müssen außerdem ausdrücklich Berechtigungen für die Dokumentenabfrage gewähren und den Zugriff auf einen oder mehrere Amazon Kendra-Indizes angeben.
Wenn Ihr Canvas-Administrator eine neue Domain oder ein neues Benutzerprofil einrichtet, lassen Sie ihn die Domain einrichten, indem Sie den Anweisungen unter [Voraussetzungen für die Einrichtung von Amazon SageMaker Canvas](canvas-getting-started.md#canvas-prerequisites) folgen. Während der Einrichtung der Domain können sie das Dokument über die Konfiguration der ** Ready-to-useCanvas-Modelle** für die Dokumentenabfrage aktivieren.
Der Canvas-Administrator kann die Berechtigungen für die Dokumentenabfrage auch auf Benutzerprofilebene verwalten. Wenn der Administrator beispielsweise einigen Benutzerprofilen Berechtigungen für die Dokumentenabfrage gewähren, anderen jedoch Berechtigungen entziehen möchte, kann er die Berechtigungen für einen bestimmten Benutzer bearbeiten.
Nachfolgend wird gezeigt, wie Sie Berechtigungen für Dokumentabfragen für ein bestimmtes Benutzerprofil aktivieren:
1. Öffnen Sie die SageMaker AI-Konsole unter. [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)
1. Wählen Sie im linken Navigationsbereich **Admin-Konfigurationen**.
1. Wählen Sie unter **Admin-Konfigurationen** **Domains** aus.
1. Wählen Sie aus der Liste der Domains die Domain des Benutzerprofils aus.
1. Wählen Sie auf der Seite mit den **Domaindetails** das **Benutzerprofil** aus, dessen Berechtigungen Sie bearbeiten möchten.
1. Klicken Sie auf der Seite **Details des Benutzers** auf **Bearbeiten**.
1. Wählen Sie im linken Navigationsbereich die Option **Canvas Einstellungen** aus.
1. Aktivieren Sie im **Konfigurationsbereich für Ready-to-use Canvas-Modelle** die Option **Dokumentabfrage mithilfe von Amazon Kendra aktivieren**.
1. Wählen Sie in der Dropdown-Liste einen oder mehrere Amazon Kendra-Indizes aus, auf die Sie Zugriff gewähren möchten.
1. Wählen Sie **Absenden** aus, um die Änderungen an Ihren Domaineinstellungen zu speichern.
Sie sollten jetzt in der Lage sein, Canvas Foundation-Modelle zu verwenden, um Dokumente in den angegebenen Amazon Kendra-Indizes abzufragen.
# Starten Sie eine neue Konversation, um Inhalte zu generieren, zu extrahieren oder zusammenzufassen
Um mit generativen KI-Grundmodellen in Canvas zu beginnen, können Sie eine neue Chat-Sitzung mit einem der Modelle starten. Bei JumpStart Modellen fallen Gebühren an, solange das Modell aktiv ist. Sie müssen die Modelle also starten, wenn Sie sie verwenden möchten, und sie herunterfahren, wenn Sie mit der Interaktion fertig sind. Wenn Sie ein JumpStart Modell nicht herunterfahren, fährt Canvas es nach 2 Stunden Inaktivität herunter. Bei Amazon-Bedrock-Modellen (wie Amazon Titan) erfolgt die Zahlung per Aufforderung. Die Modelle sind bereits aktiv und müssen nicht gestartet oder heruntergefahren werden. Die Nutzung dieser Modelle durch Amazon Bedrock wird Ihnen direkt in Rechnung gestellt.
Gehen Sie wie folgt vor, um einen Chat mit einem Model zu öffnen:
1. Öffnen Sie die SageMaker Canvas-Anwendung.
1. Wählen Sie im linken Navigationsbereich **eady-to-useR-Modelle** aus.
1. Wählen Sie **Inhalt generieren, extrahieren und zusammenfassen**.
1. Auf der Willkommensseite erhalten Sie eine Empfehlung, das Standardmodell zu starten. Sie können das empfohlene Modell starten oder im Dropdown-Menü die Option **Anderes Modell auswählen** wählen, um ein anderes Modell auszuwählen.
1. Wenn Sie ein JumpStart Foundation-Modell ausgewählt haben, müssen Sie es starten, bevor es verwendet werden kann. Wählen Sie **Modell starten aus**, und dann wird das Modell auf einer SageMaker AI-Instanz bereitgestellt. Es kann einige Minuten dauern, bis der Vorgang abgeschlossen ist. Wenn das Modell fertig ist, können Sie Eingabeaufforderungen eingeben und dem Modell Fragen stellen.
Wenn Sie ein Fundamentmodell von Amazon Bedrock ausgewählt haben, können Sie es sofort verwenden, indem Sie eine Aufforderung eingeben und Fragen stellen.
Je nach Modell können Sie verschiedene Aufgaben ausführen. Sie können beispielsweise eine Textpassage eingeben und das Modell bitten, sie zusammenzufassen. Oder Sie können das Modell bitten, eine kurze Zusammenfassung der Markttrends in Ihrem Bereich zu erstellen.
Die Antworten des Models in einem Chat basieren auf dem Kontext Ihrer vorherigen Eingabeaufforderungen. Wenn Sie im Chat eine neue Frage stellen möchten, die nichts mit dem vorherigen Gesprächsthema zu tun hat, empfehlen wir Ihnen, einen neuen Chat mit dem Model zu starten.
# Extrahieren Sie Informationen aus Dokumenten, indem Sie Dokumente abfragen
**Anmerkung**
In diesem Abschnitt wird davon ausgegangen, dass Sie den Abschnitt über [Voraussetzungen für das Abfragen von Dokumenten](canvas-fm-chat-prereqs.md#canvas-fm-chat-prereqs-kendra)abgeschlossen haben.
Das Abfragen von Dokumenten ist eine Funktion, die Sie bei der Interaktion mit Foundation-Modellen in Canvas verwenden können. Mit der Dokumentenabfrage können Sie auf einen Korpus von Dokumenten zugreifen, die in einem Amazon Kendra-*Index* gespeichert sind, der den Inhalt Ihrer Dokumente enthält und so strukturiert ist, dass Dokumente durchsuchbar sind. Sie können spezifische Fragen stellen, die sich auf die Daten in Ihrem Amazon Kendra-Index beziehen, und das Foundation-Modell gibt Antworten auf Ihre Fragen zurück. Sie können beispielsweise eine interne Wissensdatenbank mit IT-Informationen abfragen und Fragen stellen wie „Wie stelle ich eine Verbindung zum Netzwerk meines Unternehmens her?“ Weitere Informationen zum Einrichten eines Indexes finden Sie im [Amazon Kendra-Entwicklerhandbuch](https://docs.aws.amazon.com/kendra/latest/dg/what-is-kendra.html).
Wenn Sie das Feature zur Dokumentenabfrage verwenden, beschränken die Foundation-Modelle ihre Antworten mithilfe einer Technik namens Retrieval Augmented Generation (RAG) auf den Inhalt der Dokumente in Ihrem Index. Diese Technik bündelt die relevantesten Informationen aus dem Index zusammen mit der Benutzeraufforderung und sendet sie an das Foundation-Modell, um eine Antwort zu erhalten. Die Antworten sind auf das beschränkt, was in Ihrem Index zu finden ist, wodurch verhindert wird, dass das Modell Ihnen falsche Antworten auf der Grundlage externer Daten gibt. Weitere Informationen zu diesem Prozess finden Sie im Blogbeitrag [Erstellen Sie schnell hochgenaue generative KI-Anwendungen auf Unternehmensdaten](https://aws.amazon.com/blogs/machine-learning/quickly-build-high-accuracy-generative-ai-applications-on-enterprise-data-using-amazon-kendra-langchain-and-large-language-models/).
Um zu beginnen, aktivieren Sie in einem Chat mit einem Foundation-Modell in Canvas oben auf der Seite die Option **Dokumentabfrage**. Wählen Sie aus der Dropdown-Liste den Amazon Kendra-Index aus, den Sie abfragen möchten. Anschließend können Sie beginnen, Fragen zu den Dokumenten in Ihrem Index zu stellen.
**Wichtig**
Die Dokumentabfrage unterstützt die [Vergleichen von Modell-Outputs](canvas-fm-chat-compare.md) Funktion. Jeder bestehende Chat-Verlauf wird überschrieben, wenn Sie einen neuen Chat starten, um Modellausgaben zu vergleichen.
# Starten von Modellen
**Anmerkung**
Im folgenden Abschnitt wird das Starten von Modellen beschrieben, was nur für Basismodelle wie Falcon-40B-Instruct gilt. JumpStart Sie können jederzeit sofort auf Amazon Bedrock-Modelle wie Amazon Titan zugreifen.
Sie können so viele Modelle starten, wie Sie möchten. JumpStart Für jedes aktive JumpStart Modell fallen Gebühren auf Ihrem Konto an. Wir empfehlen Ihnen daher, nicht mehr Modelle zu starten, als Sie derzeit verwenden.
Um ein anderes Modell zu starten, können Sie wie folgt vorgehen:
1. Wählen Sie auf der Seite **Inhalt generieren, extrahieren und zusammenfassen** die Option **Neuer Chat** aus.
1. Wählen Sie das Modell aus dem Dropdown-Menü. Wenn Sie ein Modell auswählen möchten, das nicht in der Dropdown-Liste angezeigt wird, wählen Sie **Ein anderes Modell starten** und wählen Sie dann das Modell aus, das Sie starten möchten.
1. Wählen Sie **Startmodell aus**.
Das Modell sollte mit dem Starten beginnen, und innerhalb weniger Minuten können Sie mit dem Modell chatten.
# Herunterfahren von Modellen
Wir empfehlen dringend, Modelle, die Sie nicht verwenden, herunterzufahren. Die Modelle werden nach 2 Stunden Inaktivität automatisch heruntergefahren. Um ein Modell manuell herunterzufahren, können Sie jedoch wie folgt vorgehen:
1. Öffnen Sie auf der Seite **Inhalt generieren, extrahieren und zusammenfassen** den Chat für das Modell, das Sie beenden möchten.
1. Wählen Sie auf der Chat-Seite das Symbol **Weitere Optionen** (![\[Vertical ellipsis icon representing a menu or more options.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/studio/canvas/more-options-icon.png)) aus.
1. Wählen Sie **Modell herunterfahren**.
1. Wählen Sie im Bestätigungsfeld **Modell herunterfahren** die Option **Herunterfahren** aus.
Das Modell beginnt, herunterzufahren. Wenn in Ihrem Chat zwei oder mehr Modelle verglichen werden, können Sie ein einzelnes Modell von der Chat-Seite aus herunterfahren, indem Sie auf das Symbol **Weitere Optionen** (![\[Vertical ellipsis icon representing a menu or more options.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/studio/canvas/more-options-icon.png)) des Modells klicken und dann **Modell herunterfahren** wählen.
# Vergleichen von Modell-Outputs
Möglicherweise möchten Sie die Leistung verschiedener Modelle nebeneinander vergleichen, um herauszufinden, welche Modellausgabe Sie bevorzugen. Dies kann Ihnen helfen zu entscheiden, welches Modell für Ihren Anwendungsfall am besten geeignet ist. Sie können bis zu drei Modelle in Chats vergleichen.
**Anmerkung**
Für jedes einzelne Modell fallen Gebühren auf Ihrem Konto an.
Sie müssen einen neuen Chat starten, um Modelle zum Vergleich hinzuzufügen. Gehen Sie wie folgt vor, um die Ausgabe von Modellen in einem Chat nebeneinander zu vergleichen:
1. Wählen Sie in einem Chat die Option **Neuer Chat** aus.
1. Wählen Sie **Vergleichen** und verwenden Sie das Dropdown-Menü, um das Modell auszuwählen, das Sie hinzufügen möchten. Um ein drittes Modell hinzuzufügen, wählen Sie erneut **Vergleichen**, um ein weiteres Modell hinzuzufügen.
**Anmerkung**
Wenn Sie ein JumpStart Modell verwenden möchten, das derzeit nicht aktiv ist, werden Sie aufgefordert, das Modell zu starten.
Wenn die Modelle aktiv sind, sehen Sie die beiden Modelle im Chat nebeneinander. Sie können Ihre Aufforderung einreichen und jedes Model antwortet im selben Chat, wie im folgenden Screenshot gezeigt.
![\[Screenshot der Canvas-Oberfläche mit der Ausgabe von zwei Modellen, die nebeneinander angezeigt werden.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/studio/canvas/canvas-chat-compare-outputs.png)
Wenn Sie mit der Interaktion fertig sind, stellen Sie sicher, dass Sie alle JumpStart Modelle einzeln herunterfahren, um weitere Gebühren zu vermeiden.
# Optimieren von Grundlagenmodellen
Die Basismodelle, auf die Sie über Amazon SageMaker Canvas zugreifen können, können Ihnen bei einer Reihe von allgemeinen Aufgaben helfen. Wenn Sie jedoch einen bestimmten Anwendungsfall haben und maßgeschneiderte Antworten auf der Grundlage Ihrer eigenen Daten wünschen, können Sie ein Grundlagenmodell *optimieren*.
Zur Feinabstimmung eines Grundlagenmodells stellen Sie einen Datensatz bereit, der aus Beispiel-Prompts und Modellantworten besteht. Anschließend trainieren Sie das Grundlagenmodell anhand der Daten. Schließlich ist das optimierte Grundlagenmodell in der Lage, Ihnen spezifischere Antworten zu geben.
Die folgende Liste enthält die Grundlagenmodelle, die Sie in Canvas optimieren können:
+ Titan Express
+ Falcon-7B
+ Falcon-7B-Instruct
+ Falcon-40B-Instruct
+ Falcon-40B
+ Flan-T5-Large
+ Flan-T5-Xl
+ Flan-T5-Xxl
+ MPT-7B
+ MPT-7B-Instruct
Bei der Feinabstimmung eines Modells können Sie in der Canvas-Anwendung auf detailliertere Informationen zu jedem Grundlagenmodell zugreifen. Weitere Informationen finden Sie unter [Optimieren Sie das Modell.](#canvas-fm-chat-fine-tune-procedure-model).
In diesem Thema wird die Feinabstimmung von Grundlagenmodellen in Canvas beschrieben.
## Bevor Sie beginnen
Stellen Sie vor der Feinabstimmung eines Foundation-Modells sicher, dass Sie über die Berechtigungen für Ready-to-use Modelle in Canvas und über eine AWS Identity and Access Management Ausführungsrolle verfügen, die eine Vertrauensbeziehung mit Amazon Bedrock unterhält, sodass Amazon Bedrock Ihre Rolle bei der Feinabstimmung der Foundation-Modelle übernehmen kann.
Beim Einrichten oder Bearbeiten Ihrer Amazon SageMaker AI-Domain müssen Sie 1) die Konfigurationsberechtigungen für Ready-to-use Canvas-Modelle aktivieren und 2) eine Amazon Bedrock-Rolle erstellen oder angeben. Dabei handelt es sich um eine IAM-Ausführungsrolle, der SageMaker KI eine Vertrauensbeziehung mit Amazon Bedrock zuordnet. Weitere Informationen zum Konfigurieren dieser Einstellungen finden Sie unter [Voraussetzungen für die Einrichtung von Amazon SageMaker Canvas](canvas-getting-started.md#canvas-prerequisites).
Sie können die Amazon Bedrock-Rolle manuell konfigurieren, wenn Sie lieber Ihre eigene IAM-Ausführungsrolle verwenden möchten (anstatt SageMaker KI eine in Ihrem Namen erstellen zu lassen). Weitere Informationen zur Konfiguration der Vertrauensstellung Ihrer eigenen IAM-Ausführungsrolle mit Amazon Bedrock finden Sie unter [Erteilen von Berechtigungen zur Verwendung von Amazon-Bedrock-Features und Features der generativen KI in Canvas](canvas-fine-tuning-permissions.md).
Sie benötigen außerdem einen Datensatz, der für die Feinabstimmung großer Sprachmodelle formatiert ist (). LLMs Im Folgenden finden Sie eine Liste der Anforderungen für Ihren Datensatz:
+ Der Datensatz muss tabellarisch sein und mindestens zwei Spalten mit Textdaten enthalten – eine Eingabespalte (die Beispiel-Prompts an das Modell enthält) und eine Ausgabespalte (die Beispielantworten des Modells enthält).
Ein Beispiel ist folgendes:
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/canvas-fm-chat-fine-tune.html)
+ Wir empfehlen, dass der Datensatz mindestens 100 Textpaare (Zeilen mit entsprechenden Eingabe- und Ausgabeelementen) enthält. Dadurch wird sichergestellt, dass das Grundlagenmodell über genügend Daten für die Feinabstimmung verfügt, und die Genauigkeit der Antworten wird erhöht.
+ Jedes Eingabe- und Ausgabeelement sollte maximal 512 Zeichen enthalten. Alles, was länger ist, wird bei der Feinabstimmung des Grundlagenmodells auf 512 Zeichen reduziert.
Bei der Feinabstimmung eines Amazon-Bedrock-Modells müssen Sie die Amazon-Bedrock-Kontingente einhalten. Weitere Informationen finden Sie unter [Kontingente für Modellanpassungen](https://docs.aws.amazon.com/bedrock/latest/userguide/quotas.html#model-customization-quotas) im *Benutzerhandbuch für Amazon Bedrock*.
Weitere Informationen zu den allgemeinen Datensatzanforderungen und Einschränkungen in Canvas finden Sie unter [Erstellen eines Datensatzes](canvas-import-dataset.md).
## Feinabstimmung eines Grundlagenmodells
Sie können ein Grundlagenmodell mit einer der folgenden Methoden in der Canvas-Anwendung optimieren:
+ Wählen Sie in einem Chat zum **Generieren, Extrahieren und Zusammenfassen von Inhalten** mit einem Grundlagenmodell das Symbol **Modell optimieren** (![\[Magnifying glass icon with a plus sign, indicating a search or zoom-in function.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/studio/canvas/wrench-icon-small.png)) aus.
+ Wenn Sie in einem Chat mit einem Grundlagenmodell die Antwort zwei- oder mehrmals neu generiert haben, bietet Ihnen Canvas die Option zur **Feinabstimmung des Modells**. Der folgende Screenshot zeigt ein Beispiel, wie dies aussieht.
![\[Screenshot der in einem Chat angezeigten Option zur Feinabstimmung des Grundlagenmodells.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/studio/canvas/fine-tuning-ingress.png)
+ Auf der Seite **Meine Modelle** können Sie ein neues Modell erstellen, indem Sie **Neues Modell** und dann **Grundlagenmodell optimieren** auswählen.
+ Auf der **Ready-to-use Modell-Startseite** können Sie **Ihr eigenes Modell erstellen** auswählen und dann im Dialogfeld **Neues Modell erstellen die Option Fundamentmodell** **feinabstimmen** auswählen.
+ Beim Durchsuchen Ihrer Datensätze auf der Registerkarte **Data Wrangler** können Sie einen Datensatz auswählen und **Ein Modell erstellen** auswählen. Wählen Sie dann **Grundlagenmodell optimieren** aus.
Nachdem Sie mit der Feinabstimmung eines Modells begonnen haben, gehen Sie wie folgt vor:
### Wählen Sie eine Datenbank aus
Wählen Sie bei der Feinabstimmung eines Modells auf der Registerkarte **Auswählen** die Daten aus, anhand derer Sie das Grundlagenmodell trainieren möchten.
Wählen Sie entweder einen vorhandenen Datensatz aus oder erstellen Sie einen neuen, der die im Abschnitt [Bevor Sie beginnen](#canvas-fm-chat-fine-tune-prereqs) aufgeführten Anforderungen erfüllt. Informationen zum Erstellen eines Datensatzes finden Sie unter [Erstellen eines Datensatzes](canvas-import-dataset.md).
Wenn Sie einen Datensatz ausgewählt oder erstellt haben und bereit sind, fortzufahren, wählen Sie **Datensatz auswählen** aus.
### Optimieren Sie das Modell.
Nachdem Sie Ihre Daten ausgewählt haben, können Sie nun mit dem Training und der Feinabstimmung des Modells beginnen.
Gehen Sie auf der Registerkarte **Optimieren** folgendermaßen vor:
1. (Optional) Wählen Sie **Weitere Informationen zu unseren Grundlagenmodellen** aus, um weitere Informationen zu den einzelnen Modellen zu erhalten und Sie bei der Entscheidung zu unterstützen, welches oder welche Grundlagenmodelle Sie einsetzen möchten.
1. Öffnen **Sie für Wählen Sie bis zu 3 Basismodelle** das Drop-down-Menü aus und wählen Sie bis zu 3 Foundation-Modelle (bis zu 2 JumpStart Modelle und 1 Amazon Bedrock-Modell) aus, die Sie während des Schulungsjobs verfeinern möchten. Durch die Feinabstimmung mehrerer Grundlagenmodelle können Sie deren Leistung vergleichen und letztendlich das für Ihren Anwendungsfall am besten geeignete Modell als Standardmodell auswählen. Weitere Hinweise zu Standardmodellen finden Sie unter [Anzeigen von Modellkandidaten in der Modell-Bestenliste](canvas-evaluate-model-candidates.md).
1. Wählen Sie für **Eingabespalte auswählen** die Spalte mit Textdaten in Ihrem Datensatz aus, die die Beispielmodell-Prompts enthält.
1. Wählen Sie für **Ausgabespalte auswählen** die Spalte mit Textdaten in Ihrem Datensatz aus, die die Beispielmodell-Antworten enthält.
1. (Optional) Um erweiterte Einstellungen für den Trainingsjob zu konfigurieren, wählen Sie **Modell konfigurieren** aus. Weitere Informationen zu den erweiterten Einstellungen für die Modellerstellung finden Sie unter [Erweiterte Konfigurationen für die Modellerstellung](canvas-advanced-settings.md).
Führen Sie im Pop-up-Fenster **Modell konfigurieren** die folgenden Schritte aus:
1. Bei **Hyperparametern** können Sie für jedes Modell, das Sie ausgewählt haben, die **Epochenzahl**, die **Batchgröße**, die **Lernrate** und die **Aufwärmschritte für die Lernrate** anpassen. Weitere Informationen zu diesen Parametern finden Sie im [Abschnitt Hyperparameter](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-fine-tune.html#jumpstart-hyperparameters) in der Dokumentation. JumpStart
1. Bei der **Datenteilung** können Sie Prozentsätze angeben, wie Ihre Daten zwischen dem **Trainingssatz** und dem **Validierungssatz** aufgeteilt werden sollen.
1. Für **Max. Laufzeit des Auftrags** können Sie festlegen, wie lange Canvas den Build-Auftrag maximal ausführt. Diese Funktion ist nur für JumpStart Fundamentmodelle verfügbar.
1. Nachdem Sie die Einstellungen konfiguriert haben, wählen Sie **Speichern** aus.
1. Wählen Sie **Feinabstimmung** aus, um mit dem Training der ausgewählten Grundlagenmodelle zu beginnen.
Nachdem die Feinabstimmung begonnen hat, können Sie die Seite verlassen. Wenn das Modell auf der Seite **Meine Modelle** als **Bereit** angezeigt wird, ist es einsatzbereit, und Sie können nun die Leistung Ihres optimierten Grundlagenmodells analysieren.
### Analysieren des optimierten Grundlagenmodells
Auf der Registerkarte **Analysieren** Ihres optimierten Grundlagenmodells können Sie die Leistung des Modells sehen.
Auf dieser Seite finden Sie auf der Registerkarte **Übersicht** die Perplexitäts- und Verlustwerte sowie Analysen, die die Verbesserung des Modells im Laufe des Trainings visualisieren. Auf dem Screenshot unten sehen Sie die Registerkarte **Übersicht**.
![\[Die Registerkarte „Analysieren“ eines optimierten Grundlagenmodells in Canvas, auf der die Perplexitäts- und Verlustkurven angezeigt werden.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/studio/canvas/canvas-fine-tune-analyze-2.png)
Auf dieser Seite können Sie die folgenden Visualisierungen sehen:
+ Die **Perplexitätskurve** misst, wie gut das Modell das nächste Wort in einer Sequenz vorhersagt oder wie grammatikalisch korrekt die Ausgabe des Modells ist. Im Idealfall nimmt der Wert ab, wenn sich das Modell während des Trainings verbessert, was zu einer Kurve führt, die sich mit der Zeit absenkt und flacher wird.
+ Die **Verlustkurve** quantifiziert die Differenz zwischen der korrekten Ausgabe und der vom Modell vorhergesagten Ausgabe. Eine Verlustkurve, die im Laufe der Zeit abnimmt und flacher wird, deutet darauf hin, dass das Modell seine Fähigkeit verbessert, genaue Vorhersagen zu treffen.
Auf der Registerkarte **Erweiterte Metriken** werden Ihnen die Hyperparameter und zusätzliche Metriken für Ihr Modell angezeigt. Sie sieht wie im folgenden Screenshot aus:
![\[Screenshot der Registerkarte „Erweiterte Metriken“ eines optimierten Grundlagenmodells in Canvas.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/studio/canvas/canvas-fine-tune-metrics.png)
Die Registerkarte **Erweiterte Metriken** enthält die folgenden Informationen:
+ Der Abschnitt **Erklärbarkeit** enthält die **Hyperparameter**. Dabei handelt es sich um Werte, die vor dem Auftrag festgelegt wurden, um die Feinabstimmung des Modells zu steuern. Wenn Sie in den erweiterten Einstellungen des Modells im Abschnitt [Optimieren Sie das Modell.](#canvas-fm-chat-fine-tune-procedure-model) keine benutzerdefinierten Hyperparameter angegeben haben, wählt Canvas die Standard-Hyperparameter für Sie aus.
Bei JumpStart Modellen steht Ihnen auch die erweiterte Metrik [ROUGE (Recall-Oriented Understudy for Gisting Evaluation)](https://en.wikipedia.org/wiki/ROUGE_(metric)) zur Verfügung, mit der die Qualität der vom Modell generierten Zusammenfassungen bewertet wird. Sie misst, wie gut das Modell die wichtigsten Punkte einer Passage zusammenfassen kann.
+ Im Abschnitt **Artefakte** finden Sie Links zu Artefakten, die während der Feinabstimmung generiert wurden. Sie können auf die in Amazon S3 gespeicherten Schulungs- und Validierungsdaten sowie auf den Link zum Modellbewertungsbericht zugreifen (weitere Informationen finden Sie im folgenden Absatz).
Um mehr Einblicke in die Modellbewertung zu erhalten, können Sie einen Bericht herunterladen, der mit [SageMaker Clarify](https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-configure-processing-jobs.html) generiert wurde. Dabei handelt es sich um eine Funktion, mit der Sie Verzerrungen in Ihrem Modell und Ihren Daten erkennen können. Generieren Sie zunächst den Bericht, indem Sie unten auf der Seite die Option **Bewertungsbericht erstellen** auswählen. Nachdem der Bericht generiert wurde, können Sie den vollständigen Bericht herunterladen, indem Sie auf **Bericht herunterladen** klicken oder zum Abschnitt **Artefakte** zurückkehren.
Sie können auch auf ein Jupyter Notebook zugreifen, das Ihnen zeigt, wie Sie Ihren Feinabstimmungsauftrag in Python-Code replizieren können. Sie können dies verwenden, um Ihren Feinabstimmungsauftrag zu replizieren oder programmatische Änderungen daran vorzunehmen oder ein tieferes Verständnis dafür zu erlangen, wie Canvas Ihr Modell optimiert. Weitere Informationen zu Modell-Notebooks und wie Sie auf sie zugreifen können finden Sie unter [Herunterladen eines Modell-Notebooks](canvas-notebook.md).
Weitere Informationen zur Interpretation der Informationen auf der Registerkarte **Analysieren** Ihres optimierten Grundlagenmodells finden Sie unter dem Thema [Bewertung des Modells](canvas-evaluate-model.md).
Nachdem Sie die Registerkarten **Überblick** und **Erweiterte Metriken** analysiert haben, können Sie auch die **Modell-Bestenliste** öffnen, in der die Liste der während des Builds trainierten Grundlagenmodelle angezeigt wird. Das Modell mit der niedrigsten Verlustrate gilt als das Modell mit der besten Leistung und wird als **Standardmodell** ausgewählt. Dabei handelt es sich um das Modell, dessen Analyse Sie auf der Registerkarte **Analysieren** sehen. Sie können nur das Standardmodell testen und bereitstellen. Weitere Informationen zur Modell-Bestenliste und zum Ändern des Standardmodells finden Sie unter [Anzeigen von Modellkandidaten in der Modell-Bestenliste](canvas-evaluate-model-candidates.md).
### Testen eines optimierten Grundlagenmodells in einem Chat
Nachdem Sie die Leistung eines optimierten Grundlagenmodells analysiert haben, möchten Sie es vielleicht testen oder seine Antworten mit dem Basismodell vergleichen. Sie können ein optimiertes Grundlagenmodell in einem Chat mit dem Feature **Inhalt generieren, extrahieren und zusammenfassen** testen.
Starten Sie einen Chat mit einem optimierten Modell, indem Sie eine der folgenden Methoden wählen:
+ Wählen Sie auf der Registerkarte **Analysieren** des fein abgestimmten Modells die Option **In Ready-to-use Basismodellen testen** aus.
+ Wählen Sie auf der Seite **Ready-to-use Canvas-Modelle** die Option **Inhalt generieren, extrahieren und zusammenfassen** aus. Wählen Sie dann **Neuer Chat** und anschließend die Version des Modells aus, die Sie testen möchten.
Das Modell wird in einem Chat gestartet und Sie können damit wie mit jedem anderen Grundlagenmodell interagieren. Sie können dem Chat weitere Modelle hinzufügen und deren Ergebnisse vergleichen. Weitere Informationen zur Funktionalität von Chats finden Sie unter [Generative KI-Grundmodelle in SageMaker Canvas](canvas-fm-chat.md).
## Operationalisieren von optimierten Grundlagenmodellen
Nach der Feinabstimmung Ihres Modells in Canvas können Sie wie folgt vorgehen:
+ Registrieren Sie das Modell im SageMaker Model Registry, um es in Ihre MLOps Unternehmensprozesse zu integrieren. Weitere Informationen finden Sie unter [Registrieren Sie eine Modellversion in der AI-Modellregistrierung SageMaker](canvas-register-model.md).
+ Stellen Sie das Modell auf einem SageMaker KI-Endpunkt bereit und senden Sie Anfragen von Ihrer Anwendung oder Website aus an das Modell, um Vorhersagen (oder *Schlussfolgerungen*) zu erhalten. Weitere Informationen finden Sie unter [Stellen Sie Ihre Modelle auf einem Endpunkt bereit](canvas-deploy-model.md).
**Wichtig**
Sie können nur auf der JumpStart Grundlage fein abgestimmter Foundation-Modelle registrieren und bereitstellen, keine auf Amazon Bedrock basierenden Modelle.