Überblick über die Amazon SageMaker SageMaker-Partner-KI-Apps
Mit Amazon SageMaker Partner AI Apps erhalten Benutzer Zugriff auf generative KI- und maschinelles Lernen (ML) -Entwicklungsanwendungen, die von branchenführenden Anwendungsanbietern entwickelt, veröffentlicht und vertrieben werden. Die KI-Apps von Partnern sind für die Ausführung auf SageMaker AI zertifiziert. Mit Partner-KI-Apps können Benutzer die Entwicklung von Lösungen auf der Grundlage von Foundation Models (FM) und klassischen ML-Modellen beschleunigen und verbessern, ohne die Sicherheit ihrer sensiblen Daten zu gefährden. Die Daten bleiben vollständig innerhalb ihrer vertrauenswürdigen Sicherheitskonfiguration und werden niemals an Dritte weitergegeben.
Funktionsweise
Bei Partner-KI-Apps handelt es sich um vollständige Anwendungsstapel, die einen Amazon Elastic Kubernetes Service Service-Cluster und eine Reihe von zugehörigen Services umfassen können, darunter Application Load Balancer, Amazon Relational Database Service, Amazon Simple Storage Service-Buckets, Amazon Simple Queue Service-Warteschlangen und Caches. Redis
Diese Dienstanwendungen können von allen Benutzern in einer SageMaker AI-Domain gemeinsam genutzt werden und werden von einem Administrator bereitgestellt. Nach der Bereitstellung der Anwendung durch den Kauf eines Abonnements über kann der AWS Marketplace Administrator Benutzern in der SageMaker AI-Domain Berechtigungen für den direkten Zugriff auf die Partner-KI-App von Amazon SageMaker Studio, Amazon SageMaker Unified Studio (Vorschau) oder über eine vorsignierte URL erteilen. Weitere Informationen zum Starten einer Anwendung aus Studio finden Sie unter Starten von Amazon SageMaker Studio.
Partner AI Apps bietet Administratoren und Benutzern die folgenden Vorteile.
-
Administratoren verwenden die SageMaker-AI-Konsole, um die Partner-KI-Apps zu durchsuchen, zu entdecken, auszuwählen und bereitzustellen, damit sie von ihren Data-Science- und ML-Teams verwendet werden können. Nachdem die Partner-KI-Apps bereitgestellt wurden, führt SageMaker AI sie auf Service-Managed aus. AWS-Konten Dies reduziert den mit der Erstellung und dem Betrieb dieser Anwendungen verbundenen Betriebskosten erheblich und trägt zur Sicherheit und zum Datenschutz von Kundendaten bei.
-
Datenwissenschaftler und ML-Entwickler können in ihrer ML-Entwicklungsumgebung in Amazon SageMaker Studio oder Amazon SageMaker Unified Studio (Vorversion) auf Partner-KI-Apps zugreifen. Sie können die Partner-KI-Apps verwenden, um ihre mit SageMaker AI erstellten Daten, Experimente und Modelle zu analysieren. Dadurch werden Kontextwechsel minimiert und der Aufbau von Basismodellen und die Markteinführung neuer generativer KI-Funktionen beschleunigt.
Integration in AWS-Services
Partner AI Apps verwendet die bestehende AWS Identity and Access Management (IAM-) Konfiguration für die Autorisierung und Authentifizierung. Daher müssen Benutzer keine separaten Anmeldeinformationen angeben, um von Amazon SageMaker Studio aus auf jede Partner-KI-App zuzugreifen. Weitere Informationen zur Autorisierung und Authentifizierung mit Partner-KI-Apps finden Sie unter Richten Sie KI-Apps für Partner ein.
Partner AI Apps lassen sich auch integrierenAmazon CloudWatch, um die Betriebsüberwachung und -verwaltung zu ermöglichen. Kunden können auch die KI-Apps von Partnern durchsuchen und weitere Informationen zu diesen Apps, wie Funktionen, Kundenerlebnis und Preisgestaltung, auf der abrufenAWS-Managementkonsole. Informationen zu Amazon CloudWatch finden Sie unter Funktionsweise von Amazon CloudWatch.
Unterstützte -Typen
KI-Apps von Partnern unterstützen die folgenden Typen:
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
Wenn der Administrator eine Partner-AI-App startet, muss er die Konfiguration des Instance-Clusters auswählen, mit dem die Partner-AI-App gestartet wird. Diese Konfiguration wird als Stufe der Partner AI App bezeichnet. Die Stufe einer Partner-KI-App kann einen der folgenden Werte annehmen:
-
small -
medium -
large
Die folgenden Abschnitte enthalten Informationen zu den einzelnen Partner-AI-App-Typen sowie Einzelheiten zu den Tierwerten der Partner-AI-App.
Cometbietet eine umfassende Plattform zur Modellevaluierung für KI-Entwickler mit LLM-Evaluierungen, Versuchsverfolgung und Produktionsüberwachung.
Je nach Arbeitslast empfehlen wir die folgenden Partner-KI-App-Stufen:
-
small— Empfohlen für bis zu 5 Benutzer und 20 laufende Jobs. -
medium— Empfohlen für bis zu 50 Benutzer und 100 laufende Jobs. -
large— Empfohlen für bis zu 500 Benutzer und mehr als 100 laufende Jobs.
Anmerkung
SageMaker AI unterstützt nicht die Anzeige der Comet Benutzeroberfläche als Teil der Ausgabe eines Jupyter-Notebooks.
Entwickler und Stakeholder von KI-Anwendungen können LLM-basierte Anwendungen kontinuierlich validieren, einschließlich Eigenschaften, Leistungskennzahlen und potenzieller Fallstricke während des gesamten Lebenszyklus, von der Bereitstellung über interne Experimente Deepchecks bis hin zur Produktion.
Je nach der für den Workload gewünschten Geschwindigkeit empfehlen wir die folgenden Partner-KI-App-Stufen:
-
small— Verarbeitet 200 Token pro Sekunde. -
medium— Verarbeitet 500 Token pro Sekunde. -
large— Verarbeitet 1300 Token pro Sekunde.
Die Fiddler AI Observability Platform erleichtert die Validierung, Überwachung und Analyse von ML-Modellen in der Produktion, einschließlich tabellarischer Modelle, Deep-Learning-, Computer Vision- und natürlicher Sprachverarbeitungsmodelle.
Je nach der für den Workload gewünschten Geschwindigkeit empfehlen wir die folgenden Partner-KI-App-Stufen:
-
small— Die Verarbeitung von 10 Millionen Ereignissen in 5 Modellen, 100 Funktionen und 20 Iterationen dauert etwa 53 Minuten. -
medium— Die Verarbeitung von 10 MM-Ereignissen in 5 Modellen, 100 Features und 20 Iterationen dauert etwa 23 Minuten. -
large— Die Verarbeitung von 10 MM-Ereignissen in 5 Modellen, 100 Features und 100 Iterationen dauert etwa 27 Minuten.
Lakera Guardist eine KI-Anwendungsfirewall mit niedriger Latenz, um generative KI-Anwendungen vor KI-spezifischen Bedrohungen der Generation zu schützen.
Je nach Arbeitslast empfehlen wir die folgenden Partner-KI-App-Stufen:
-
small— Empfohlen für bis zu 20 Robotic Process Automations (RPAs). -
medium— Empfohlen für bis zu 100 RPAs. -
large— Empfohlen für bis zu 200 RPAs.
