Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
SageMaker KI-Komponenten für Kubeflow-Pipelines
Mit SageMaker KI-Komponenten für Kubeflow Pipelines können Sie native SageMaker KI-Trainings-, Tuning-, Endpunktbereitstellungs- und Batch-Transformationsjobs von Ihren Kubeflow-Pipelines aus erstellen und überwachen. Indem Sie Kubeflow Pipeline-Jobs auf SageMaker KI ausführen, verlagern Sie Datenverarbeitungs- und Trainingsaufträge vom Kubernetes-Cluster in den für maschinelles Lernen optimierten Managed Service von AI. SageMaker In diesem Dokument werden Vorkenntnisse über Kubernetes und Kubeflow vorausgesetzt.
Was sind Kubeflow-Pipelines?
Kubeflow Pipelines (KFP) ist eine Plattform für die Erstellung und Bereitstellung portabler, skalierbarer Workflows für Machine Learning (ML) auf der Basis von Docker-Containern. Die Kubeflow Pipelines-Plattform besteht aus Folgendem:
-
Eine Benutzeroberfläche (UI) zur Verwaltung und Nachverfolgung von Experimenten, Aufträgen und Läufen.
-
Eine Engine (Argo) zur Planung mehrstufiger ML-Workflows.
-
Ein SDK zum Definieren und Bearbeiten von Pipelines und Komponenten.
-
Notebooks für die Interaktion mit dem System mithilfe des SDK.
Eine Pipeline ist eine Beschreibung eines ML-Workflows, ausgedrückt als gerichteter azyklischer Graph
Weitere Informationen zu Kubeflow Pipelines finden Sie in der Dokumentation zu Kubeflow Pipelines
Was sind Kubeflow Pipeline-Komponenten?
Eine Kubeflow-Pipeline-Komponente ist ein Codesatz, der zur Ausführung eines Schritts einer Kubeflow-Pipeline verwendet wird. Komponenten werden durch ein Python-Modul dargestellt, das in ein Docker-Image integriert ist. Wenn die Pipeline ausgeführt wird, wird der Container der Komponente auf einem der Worker-Knoten auf dem Kubernetes-Cluster instanziiert, auf dem Kubeflow ausgeführt wird, und Ihre Logik wird ausgeführt. Pipeline-Komponenten können Ausgaben der vorherigen Komponenten lesen und Ausgaben erstellen, die die nächste Komponente in der Pipeline verarbeiten kann. Diese Komponenten machen es schnell und einfach, Pipelines für Experimentier- und Produktionsumgebungen zu schreiben, ohne mit der zugrunde liegenden Kubernetes-Infrastruktur interagieren zu müssen.
Sie können SageMaker KI-Komponenten in Ihrer Kubeflow-Pipeline verwenden. Anstatt Ihre Logik in einem benutzerdefinierten Container zu kapseln, laden Sie einfach die Komponenten und beschreiben Ihre Pipeline mithilfe des Kubeflow Pipelines SDK. Wenn die Pipeline läuft, werden Ihre Anweisungen in einen SageMaker KI-Job oder eine KI-Bereitstellung übersetzt. Die Arbeitslast wird dann auf der vollständig verwalteten SageMaker KI-Infrastruktur ausgeführt.
Warum sollten Sie SageMaker KI-Komponenten für Kubeflow-Pipelines verwenden?
SageMaker KI-Komponenten für Kubeflow-Pipelines bieten eine Alternative zum Starten Ihrer rechenintensiven Jobs über KI. SageMaker Die Komponenten integrieren SageMaker KI in die Portabilität und Orchestrierung von Kubeflow Pipelines. Mithilfe der SageMaker KI-Komponenten für Kubeflow-Pipelines können Sie Ihre SageMaker KI-Ressourcen als Teil eines Kubeflow-Pipelines-Workflows erstellen und überwachen. Jeder der Jobs in Ihren Pipelines läuft auf SageMaker KI statt auf dem lokalen Kubernetes-Cluster, sodass Sie wichtige SageMaker KI-Funktionen wie Datenkennzeichnung, umfangreiche Hyperparameter-Optimierung und verteilte Trainingsjobs oder die sichere und skalierbare Modellbereitstellung mit einem Klick nutzen können. Die Jobparameter, der Status, die Protokolle und die Ausgaben von SageMaker AI sind weiterhin über die Kubeflow Pipelines-Benutzeroberfläche zugänglich.
Die SageMaker KI-Komponenten integrieren wichtige SageMaker KI-Funktionen in Ihre ML-Workflows, von der Datenvorbereitung bis hin zur Erstellung, Schulung und Bereitstellung von ML-Modellen. Sie können eine Kubeflow-Pipeline erstellen, die vollständig aus diesen Komponenten besteht, oder einzelne Komponenten nach Bedarf in Ihren Workflow integrieren. Die Komponenten sind in einer oder zwei Versionen erhältlich. Jede Version einer Komponente nutzt ein anderes Backend. Weitere Informationen zu diesen Versionen finden Sie unter SageMaker KI-Komponenten für Kubeflow Pipelines-Versionen.
Für die Verwendung von SageMaker KI-Komponenten für Kubeflow-Pipelines fallen keine zusätzlichen Gebühren an. Für alle SageMaker KI-Ressourcen, die Sie über diese Komponenten verwenden, fallen Gebühren an.
SageMaker KI-Komponenten für Kubeflow Pipelines-Versionen
SageMaker AI-Komponenten für Kubeflow-Pipelines gibt es in zwei Versionen. Jede Version nutzt ein anderes Backend, um Ressourcen für KI zu erstellen und zu verwalten. SageMaker
-
Die SageMaker KI-Komponenten für Kubeflow Pipelines Version 1 (v1.x oder niedriger) verwenden Boto3 () als Backend.
AWS SDK für Python (Boto3) -
Die Version 2 (v2.0.0-alpha2 und höher) von SageMaker AI Components for Kubeflow Pipelines verwendet AI Operator for Kubernetes (ACK). SageMaker
AWS führte ACK
ein, um die Verwaltung von Cloud-Ressourcen zu erleichtern. Kubernetes-native AWS ACK umfasst eine Reihe von AWS dienstspezifischen Controllern, von denen einer der SageMaker KI-Controller ist. Der SageMaker KI-Controller erleichtert Entwicklern und Datenwissenschaftlern, die Kubernetes als Steuerungsebene verwenden, das Trainieren, Optimieren und Bereitstellen von Modellen für maschinelles Lernen (ML) in der KI. SageMaker Weitere Informationen finden Sie unter SageMaker KI-Operatoren für Kubernetes
Beide Versionen der SageMaker KI-Komponenten für Kubeflow-Pipelines werden unterstützt. Die Version 2 bietet jedoch einige zusätzliche Vorteile. Insbesondere bietet sie:
-
Eine konsistente Erfahrung zur Verwaltung Ihrer SageMaker KI-Ressourcen von jeder Anwendung aus, unabhängig davon, ob Sie Kubeflow-Pipelines, Kubernetes CLI (
kubectl) oder andere Kubeflow-Anwendungen wie Notebooks verwenden. -
Die Flexibilität, Ihre SageMaker KI-Ressourcen außerhalb des Kubeflow-Pipeline-Workflows zu verwalten und zu überwachen.
-
Keine Einrichtungszeit für die Verwendung der SageMaker KI-Komponenten, wenn Sie bei der AWS Veröffentlichung den gesamten
Kubeflow bereitgestellt haben, da der SageMaker KI-Operator Teil der Bereitstellung ist.
Liste der SageMaker KI-Komponenten für Kubeflow-Pipelines
Im Folgenden finden Sie eine Liste aller SageMaker AI-Komponenten für Kubeflow-Pipelines und ihrer verfügbaren Versionen. Alternativ finden Sie alle SageMaker AI-Komponenten für Kubeflow Pipelines in. GitHub
Anmerkung
Wir empfehlen Benutzern, Version 2 einer SageMaker KI-Komponente zu verwenden, wo immer sie verfügbar ist.
-
Ground Truth
Mit der Ground Truth-Komponente können Sie SageMaker AI-Ground-Truth-Labeling-Jobs direkt aus einem Kubeflow Pipelines-Workflow heraus einreichen.
Version 1 der Komponente Version 2 der Komponente SageMaker Version 1 der Komponente „AI Ground Truth Kubeflow Pipelines“
X
-
Arbeitsteam
Mit der Workteam-Komponente können Sie private SageMaker AI-Workteam-Jobs direkt aus einem Kubeflow Pipelines-Workflow heraus erstellen.
Version 1 der Komponente Version 2 der Komponente SageMaker KI: Erstellen Sie ein privates Workteam — Kubeflow Pipelines-Komponente, Version 1
X
-
Verarbeitung
Mit der Processing-Komponente können Sie Verarbeitungsjobs direkt aus einem Kubeflow Pipelines-Workflow an SageMaker AI senden.
Version 1 der Komponente Version 2 der Komponente SageMaker Bearbeitung der Kubeflow Pipeline-Komponente, Version 1
X
-
Training
Mit der Trainingskomponente können Sie SageMaker Trainingsjobs direkt aus einem Kubeflow Pipelines-Workflow heraus einreichen.
Version 1 der Komponente Version 2 der Komponente SageMaker Training, Version 1 der Kubeflow Pipelines-Komponente
SageMaker Schulung der Kubeflow Pipelines-Komponente, Version 2
-
Optimierung der Hyperparameter
Mit der Komponente „Hyperparameter-Optimierung“ können Sie Hyperparameter-Tuning-Jobs direkt aus einem Kubeflow SageMaker Pipelines-Workflow an KI senden.
Version 1 der Komponente Version 2 der Komponente SageMaker KI-Hyperparameter-Optimierung, Kubeflow Pipeline-Komponente, Version 1
X
-
Hosting und Bereitstellung
Mit den Hosting-Komponenten können Sie ein Modell mithilfe von SageMaker KI-Hosting-Diensten aus einem Kubeflow Pipelines-Workflow bereitstellen.
Version 1 der Komponente Version 2 der Komponente SageMaker AI Hosting Services — Erstellen Sie die Endpoint Kubeflow Pipeline-Komponente Version 1.
Version 2 der Hosting-Komponenten besteht aus den drei Unterkomponenten, die für die Erstellung einer Hosting-Bereitstellung auf AI erforderlich sind. SageMaker
-
Eine SageMaker AI Model Kubeflow Pipelines-Komponente, Version 2, die für die Modellartefakte und den Registrierungspfad für das Modellbild
verantwortlich ist, der den Inferenzcode enthält. -
Eine Kubeflow Pipelines-Komponente für die SageMaker KI-Endpunktkonfiguration, Version 2, die für die Definition der Konfiguration des Endpunkts wie Instanztyp, Modelle, Anzahl der Instanzen und serverlose Inferenzoption
verantwortlich ist. -
Eine SageMaker KI-Endpunktkomponente der Kubeflow Pipelines, Version 2, die für die Erstellung oder Aktualisierung des Endpunkts auf AI
verantwortlich ist, wie in der Endpunktkonfiguration angegeben SageMaker .
-
-
Stapeltransformation
Mit der Batch Transform-Komponente können Sie Inferenzaufträge für einen gesamten Datensatz in SageMaker AI aus einem Kubeflow Pipelines-Workflow ausführen.
Version 1 der Komponente Version 2 der Komponente SageMaker AI Batch Transform, Kubeflow Pipeline-Komponente, Version 1
X
-
Model Monitor
Mit den Model Monitor-Komponenten können Sie die Qualität von SageMaker KI-Modellen für maschinelles Lernen in der Produktion von einem Kubeflow Pipelines-Workflow aus überwachen.
Version 1 der Komponente Version 2 der Komponente X
Die Model Monitor-Komponenten bestehen aus vier Unterkomponenten zur Überwachung der Drift in einem Modell.
-
Eine Kubeflow Pipelines-Komponente, Version 2, die für die Überwachung von Abweichungen in der Datenqualität verantwortlich ist, ist für die Definition von SageMaker KI-Aufgaben im Bereich der Datenqualität
zuständig. -
Eine SageMaker Kubeflow Pipelines-Komponente, Version 2, die für die Überwachung von Verzerrungen in den Prognosen eines Modells
verantwortlich ist, um Abweichungen bei den Prognosen eines Modells zu überwachen. -
Eine SageMaker Kubeflow Pipelines-Komponente, Version 2
, die für die Überwachung von Abweichungen bei der Merkmalszuweisung zuständig ist, ist für die Überwachung von Abweichungen bei der Merkmalszuweisung verantwortlich.
Darüber hinaus ist für die termingerechte Überwachung mit einer bestimmten Frequenz eine fünfte Komponente, die Version 2 der Komponente SageMaker AI Monitoring Schedule Kubeflow Pipelines
, für die Überwachung der von einem Echtzeit-Endpunkt gesammelten Daten nach einem Zeitplan verantwortlich. Weitere Informationen zu Amazon SageMaker Model Monitor finden Sie unter. Überwachung der Daten- und Modellqualität mit Amazon Model Monitor SageMaker
-
IAM-Berechtigungen
Für die Bereitstellung von Kubeflow-Pipelines mit SageMaker KI-Komponenten sind die folgenden drei Authentifizierungsebenen erforderlich:
-
Eine IAM-Rolle, die Ihrem Gateway-Knoten (bei dem es sich um Ihren lokalen Computer oder eine Remote-Instance handeln kann) Zugriff auf den Amazon Elastic Kubernetes Service (Amazon EKS) -Cluster gewährt.
Der Benutzer, der auf den Gateway-Knoten zugreift, übernimmt diese Rolle, um:
-
Erstellen Sie einen Amazon-EKS-Cluster und installieren Sie KFP
-
Erstellen Sie IAM-Rollen
-
Erstellen Sie Amazon-S3-Buckets für Ihre Beispieleingabedaten
Die Rolle erfordert die folgenden Berechtigungen:
-
CloudWatchLogsFullAccess
-
IAMFullAccess
-
AmazonS3FullAccess
-
AmazonEC2FullAccess
-
AmazonEKSAdminPolicy (Erstellen Sie diese Richtlinie mithilfe des Schemas aus den Amazon Identity-Based EKS-Richtlinienbeispielen)
-
-
Eine Kubernetes-IAM-Ausführungsrolle, die von Kubernetes-Pipeline-Pods (kfp-example-pod-role) oder dem AI-Operator für den Kubernetes-Controller-Pod übernommen wird, um auf KI zuzugreifen. SageMaker SageMaker Diese Rolle wird verwendet, um KI-Jobs von Kubernetes SageMaker aus zu erstellen und zu überwachen.
Für die Rolle ist die folgende Berechtigung erforderlich:
-
AmazonSageMakerFullAccess
Sie können die Berechtigungen auf die KFP- und Controller-Pods beschränken, indem Sie Ihre eigene benutzerdefinierte Richtlinie erstellen und anhängen.
-
-
Eine SageMaker AI-IAM-Ausführungsrolle, die SageMaker KI-Jobs für den Zugriff auf AWS Ressourcen wie Amazon S3 oder Amazon ECR übernehmen (kfp-example-sagemaker-execution-role).
SageMaker KI-Jobs verwenden diese Rolle für:
-
Greifen Sie auf SageMaker KI-Ressourcen zu
-
Eingabedaten aus Amazon S3
-
Speichern Sie Ihr Ausgabemodell in Amazon S3
Die Rolle erfordert die folgenden Berechtigungen:
-
AmazonSageMakerFullAccess
-
AmazonS3FullAccess
-
Pipelines für die Verwendung SageMaker von KI konvertieren
Sie können eine vorhandene Pipeline für die Verwendung von SageMaker KI konvertieren, indem Sie Ihre generischen Python-Verarbeitungscontainer und Trainingscontainer portieren. Wenn Sie SageMaker KI für Inferenzen verwenden, müssen Sie Ihrem Cluster auch IAM-Berechtigungen zuweisen und ein Artefakt in ein Modell konvertieren.
