Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Überblick über die KI-Apps von Amazon SageMaker Partner
Mit Amazon SageMaker Partner AI Apps erhalten Benutzer Zugriff auf generative KI- und Machine Learning-Entwicklungsanwendungen (ML), die von branchenführenden Anwendungsanbietern entwickelt, veröffentlicht und vertrieben werden. KI-Apps von Partnern sind für den Betrieb auf SageMaker KI zertifiziert. Mit Partner-KI-Apps können Benutzer die Entwicklung von Lösungen auf der Grundlage von Foundation Models (FM) und klassischen ML-Modellen beschleunigen und verbessern, ohne die Sicherheit ihrer sensiblen Daten zu gefährden. Die Daten bleiben vollständig innerhalb ihrer vertrauenswürdigen Sicherheitskonfiguration und werden niemals an Dritte weitergegeben.
Funktionsweise
Partner-KI-Apps sind vollständige Anwendungsstacks, die einen Amazon Elastic Kubernetes Service-Cluster und eine Reihe von Begleitdiensten umfassen, darunter Application Load Balancer, Amazon Relational Database Service, Amazon Simple Storage Service-Buckets, -Warteschlangen von Amazon Simple Queue Service und Caches Redis.
Diese Dienstanwendungen können von allen Benutzern in einer SageMaker KI-Domäne gemeinsam genutzt werden und werden von einem Administrator bereitgestellt. Nach der Bereitstellung der Anwendung durch den Kauf eines Abonnements über kann der AWS Marketplace Administrator Benutzern in der SageMaker AI-Domain Berechtigungen für den direkten Zugriff auf die Partner-AI-App von Amazon SageMaker Studio, Amazon SageMaker Unified Studio (Vorschau) oder über eine vorsignierte URL erteilen. Weitere Informationen zum Starten einer Anwendung aus Studio finden Sie unter Starten Sie Amazon SageMaker Studio.
Partner AI Apps bietet Administratoren und Benutzern die folgenden Vorteile.
-
Administratoren verwenden die SageMaker KI-Konsole, um die Partner-KI-Apps zu durchsuchen, zu entdecken, auszuwählen und bereitzustellen, damit sie von ihren Data-Science- und ML-Teams verwendet werden können. Nachdem die Partner-KI-Apps bereitgestellt wurden, führt SageMaker KI sie auf serviceverwalteten AWS-Konten Apps aus. Dies reduziert den mit der Erstellung und dem Betrieb dieser Anwendungen verbundenen Betriebskosten erheblich und trägt zur Sicherheit und zum Datenschutz von Kundendaten bei.
-
Datenwissenschaftler und ML-Entwickler können in ihrer ML-Entwicklungsumgebung in Amazon SageMaker Studio oder Amazon SageMaker Unified Studio (Vorversion) auf Partner-KI-Apps zugreifen. Sie können die Partner-KI-Apps verwenden, um ihre mit KI erstellten Daten, Experimente und Modelle zu SageMaker analysieren. Dadurch werden Kontextwechsel minimiert und der Aufbau von Grundlagenmodellen und die Markteinführung neuer generativer KI-Funktionen beschleunigt.
Integration mit AWS-Services
Partner AI Apps verwendet die bestehende AWS Identity and Access Management (IAM-) Konfiguration für die Autorisierung und Authentifizierung. Daher müssen Benutzer keine separaten Anmeldeinformationen angeben, um von Amazon SageMaker Studio aus auf jede Partner-KI-App zuzugreifen. Weitere Informationen zur Autorisierung und Authentifizierung mit Partner-KI-Apps finden Sie unter Richten Sie KI-Apps für Partner ein.
Partner AI Apps lassen sich auch integrieren Amazon CloudWatch , um die Betriebsüberwachung und -verwaltung zu ermöglichen. Kunden können auch die KI-Apps von Partnern durchsuchen und weitere Informationen zu diesen Apps, wie Funktionen, Kundenerlebnis und Preisgestaltung, auf der abrufen AWS-Managementkonsole. Weitere Informationen dazu Amazon CloudWatch finden Sie unter So Amazon CloudWatch funktioniert es.
KI-Anwendungen von Partnern wie Deepchecks unterstützen die Integration mit Amazon Bedrock, um LLM-basierte Bewertungsfunktionen wie „LLM as a Judge“ -Bewertungen und automatisierte Kommentarfunktionen zu ermöglichen. Wenn die Amazon Bedrock-Integration aktiviert ist, verwendet die Partner AI-App Ihr vom Kunden verwaltetes Amazon Bedrock-Konto, um auf Foundation-Modelle zuzugreifen und so sicherzustellen, dass Ihre Daten innerhalb Ihrer vertrauenswürdigen Sicherheitskonfiguration bleiben. Weitere Informationen zur Konfiguration der Amazon Bedrock-Integration finden Sie unterAmazon Bedrock-Integration konfigurieren.
Unterstützte -Typen
KI-Apps von Partnern unterstützen die folgenden Typen:
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
Wenn der Administrator eine Partner-AI-App startet, muss er die Konfiguration des Instance-Clusters auswählen, mit dem die Partner-AI-App gestartet wird. Diese Konfiguration wird als Stufe der Partner AI App bezeichnet. Die Stufe einer Partner-KI-App kann einen der folgenden Werte annehmen:
-
small -
medium -
large
Die folgenden Abschnitte enthalten Informationen zu den einzelnen Partner-AI-App-Typen sowie Einzelheiten zu den Tierwerten der Partner-AI-App.
Cometbietet eine Plattform zur end-to-end Modellevaluierung für KI-Entwickler mit LLM-Evaluierungen, Versuchsverfolgung und Produktionsüberwachung.
Je nach Arbeitslast empfehlen wir die folgenden Partner-KI-App-Stufen:
-
small– Empfohlen für bis zu 5 Benutzer und 20 laufende Jobs. -
medium– Empfohlen für bis zu 50 Benutzer und 100 laufende Jobs. -
large– Empfohlen für bis zu 500 Benutzer und mehr als 100 laufende Jobs.
Anmerkung
SageMaker KI unterstützt nicht die Anzeige der Comet Benutzeroberfläche als Teil der Ausgabe eines Jupyter-Notebooks.
Entwickler und Stakeholder von KI-Anwendungen können LLM-basierte Anwendungen kontinuierlich validieren, einschließlich Eigenschaften, Leistungskennzahlen und potenzieller Fallstricke während des gesamten Lebenszyklus, von der Bereitstellung über interne Experimente Deepchecks bis hin zur Produktion.
Je nach der für den Workload gewünschten Geschwindigkeit empfehlen wir die folgenden Partner-KI-App-Stufen:
-
small– Verarbeitet 200 Token pro Sekunde. -
medium– Verarbeitet 500 Token pro Sekunde. -
large– Verarbeitet 1300 Token pro Sekunde.
Die Fiddler AI Observability Platform erleichtert die Validierung, Überwachung und Analyse von ML-Modellen in der Produktion, einschließlich tabellarischer Modelle, Deep-Learning-, Computer Vision- und natürlicher Sprachverarbeitungsmodelle.
Je nach der für den Workload gewünschten Geschwindigkeit empfehlen wir die folgenden Partner-KI-App-Stufen:
-
small– Die Verarbeitung von 10 Millionen Ereignissen in 5 Modellen, 100 Funktionen und 20 Iterationen dauert etwa 53 Minuten. -
medium– Die Verarbeitung von 10 MM-Ereignissen in 5 Modellen, 100 Features und 20 Iterationen dauert etwa 23 Minuten. -
large– Die Verarbeitung von 10 MM-Ereignissen in 5 Modellen, 100 Features und 100 Iterationen dauert etwa 27 Minuten.
Lakera Guardist eine KI-Anwendungsfirewall mit niedriger Latenz, um generative KI-Anwendungen vor KI-spezifischen Bedrohungen der Generation zu schützen.
Je nach Arbeitslast empfehlen wir die folgenden Partner-KI-App-Stufen:
-
small— Empfohlen für bis zu 20 robotergestützte Prozessautomatisierungen (). RPAs -
medium— Empfohlen für bis zu 100 RPAs. -
large— Empfohlen für bis zu 200 RPAs.
