Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
SageMaker Componenti AI per Kubeflow Pipelines
Con i componenti SageMaker AI per Kubeflow Pipelines, puoi creare e monitorare i lavori nativi di formazione, ottimizzazione, distribuzione degli endpoint e trasformazione in batch dell' SageMaker IA a partire dalle tue pipeline Kubeflow. Eseguendo i job Kubeflow Pipeline su SageMaker AI, sposti i job di elaborazione e formazione dei dati dal cluster Kubernetes al servizio gestito ottimizzato per il machine learning di AI. SageMaker Questo documento presuppone una conoscenza preliminare di Kubernetes e Kubeflow.
Cos’è Kubeflow Pipelines?
Kubeflow Pipelines (KFP) è una piattaforma per la creazione e la distribuzione di flussi di lavoro di machine learning (ML) portatili e scalabili basati su container Docker. La piattaforma Kubeflow Pipelines comprende i seguenti elementi:
-
Un'interfaccia utente (UI) per la gestione e il monitoraggio di esperimenti, processi ed esecuzioni.
-
Un motore (Argo) per la pianificazione di flussi di lavoro ML in più fasi.
-
Un SDK per definire e manipolare pipeline e componenti.
-
Notebook per interagire con il sistema tramite SDK.
Una pipeline è una descrizione di un flusso di lavoro ML espressa come grafico aciclico diretto
Per ulteriori informazioni su Kubeflow Pipelines, consulta la Documentazione di Kubeflow Pipelines
Cosa sono i componenti Kubeflow Pipelines?
Un componente Kubeflow Pipelines è un insieme di codice utilizzato per eseguire una fase di una pipeline Kubeflow. I componenti sono rappresentati da un modulo Python integrato in un'immagine Docker. Quando la pipeline viene eseguita, il container del componente viene istanziato su uno dei nodi di processo del cluster Kubernetes che esegue Kubeflow e la logica viene eseguita. I componenti della pipeline possono leggere gli output dei componenti precedenti e creare output utilizzabili dal componente successivo della pipeline. Questi componenti semplificano e velocizzano la scrittura di pipeline per ambienti di sperimentazione e produzione senza dover interagire con l'infrastruttura Kubernetes sottostante.
Puoi utilizzare i componenti SageMaker AI nella tua pipeline Kubeflow. Invece di incapsulare la logica in un container personalizzato, è sufficiente caricare i componenti e descrivere la pipeline utilizzando Kubeflow Pipelines SDK. Quando la pipeline viene eseguita, le tue istruzioni vengono tradotte in un lavoro o implementazione SageMaker AI. Il carico di lavoro viene quindi eseguito sull'infrastruttura di intelligenza artificiale completamente gestita. SageMaker
Perché usare i componenti SageMaker AI per Kubeflow Pipelines?
SageMaker I componenti AI per Kubeflow Pipelines offrono un'alternativa all'avvio di lavori ad alta intensità di calcolo con l'IA. SageMaker I componenti integrano l' SageMaker IA con la portabilità e l'orchestrazione di Kubeflow Pipelines. Utilizzando i componenti SageMaker AI per Kubeflow Pipelines, puoi creare e monitorare le tue risorse SageMaker AI come parte di un flusso di lavoro di Kubeflow Pipelines. Ciascuno dei processi delle tue pipeline viene eseguito sull' SageMaker intelligenza artificiale anziché sul cluster Kubernetes locale, consentendoti di sfruttare le principali funzionalità di SageMaker intelligenza artificiale come l'etichettatura dei dati, l'ottimizzazione degli iperparametri su larga scala e i lavori di formazione distribuiti o l'implementazione di modelli sicuri e scalabili con un clic. I parametri, lo stato, i log e gli output dell'IA sono ancora accessibili dall'interfaccia utente di Kubeflow Pipelines. SageMaker
I componenti SageMaker AI integrano le principali funzionalità SageMaker AI nei flussi di lavoro ML, dalla preparazione dei dati alla creazione, alla formazione e all'implementazione di modelli ML. È possibile costruire un’intera pipeline Kubeflow utilizzando questi componenti o integrare singoli componenti nel flusso di lavoro in base alle esigenze. I componenti sono disponibili in una o due versioni. Ogni versione di un componente sfrutta un backend diverso. Per ulteriori informazioni sulle versioni, consulta SageMaker Componenti AI per le versioni Kubeflow Pipelines.
Non sono previsti costi aggiuntivi per l'utilizzo dei componenti SageMaker AI per Kubeflow Pipelines. Sono previsti costi per tutte le risorse di SageMaker intelligenza artificiale utilizzate tramite questi componenti.
SageMaker Componenti AI per le versioni Kubeflow Pipelines
SageMaker I componenti AI per Kubeflow Pipelines sono disponibili in due versioni. Ogni versione sfrutta un backend diverso per creare e gestire risorse sull'IA. SageMaker
-
I componenti SageMaker AI per Kubeflow Pipelines versione 1 (v1.x o precedente) utilizzano Boto3 () come backend. https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html
AWS SDK per Python (Boto3) -
La versione 2 (v2.0.0-alpha2 e successive) di AI Components for Kubeflow Pipelines utilizza AI Operator for Kubernetes (ACK). SageMaker SageMaker
AWS ha introdotto Kubernetes-native ACK per facilitare un modo di gestire le risorse cloud.
AWS ACK include una serie di controller AWS specifici per il servizio, uno dei quali è il SageMaker controller AI. Il controller SageMaker AI semplifica l'utilizzo di Kubernetes come piano di controllo da parte degli sviluppatori di machine learning e dei data scientist per addestrare, ottimizzare e implementare modelli di machine learning (ML) nell'IA. SageMaker Per ulteriori informazioni, consulta SageMaker AI Operators for Kubernetes
Sono supportate entrambe le versioni dei componenti SageMaker AI per Kubeflow Pipelines. Tuttavia, la versione 2 offre alcuni vantaggi aggiuntivi. In particolare, offre:
-
Un'esperienza coerente per gestire le risorse SageMaker AI da qualsiasi applicazione, sia che tu stia utilizzando le pipeline Kubeflow, la CLI di Kubernetes () o altre applicazioni Kubeflow come Notebooks.
kubectl -
La flessibilità di gestire e monitorare le risorse AI al di fuori del flusso di lavoro della pipeline Kubeflow. SageMaker
-
Zero tempi di configurazione per utilizzare i componenti SageMaker AI se hai implementato l'intero Kubeflow al momento del AWS
rilascio, poiché l'operatore SageMaker AI fa parte della sua implementazione.
Elenco dei componenti SageMaker AI per Kubeflow Pipelines
Di seguito è riportato un elenco di tutti i componenti SageMaker AI per Kubeflow Pipelines e delle relative versioni disponibili. In alternativa, puoi trovare tutti i componenti SageMaker AI per Kubeflow Pipelines in. GitHub
Nota
Incoraggiamo gli utenti a utilizzare la versione 2 di un componente SageMaker AI ovunque sia disponibile.
-
Ground Truth
Il componente Ground Truth consente di inviare lavori di etichettatura SageMaker AI Ground Truth direttamente da un flusso di lavoro di Kubeflow Pipelines.
Versione 1 del componente Versione 2 del componente SageMaker Componente AI Ground Truth Kubeflow Pipelines versione 1
X
-
Workteam
Il componente Workteam consente di creare lavori di gruppo di lavoro privati con SageMaker intelligenza artificiale direttamente da un flusso di lavoro di Kubeflow Pipelines.
Versione 1 del componente Versione 2 del componente SageMaker AI crea team di lavoro privato, componente Kubeflow Pipelines, versione 1
X
-
Processing
Il componente Processing consente di inviare lavori di elaborazione all' SageMaker IA direttamente da un flusso di lavoro di Kubeflow Pipelines.
Versione 1 del componente Versione 2 del componente SageMaker Componente Processing Kubeflow Pipeline versione 1
X
-
Addestramento
Il componente Training consente di inviare lavori di SageMaker formazione direttamente da un flusso di lavoro di Kubeflow Pipelines.
Versione 1 del componente Versione 2 del componente -
Hyperparameter Optimization
Il componente Hyperparameter Optimization consente di inviare lavori di ottimizzazione degli iperparametri all' SageMaker IA direttamente da un flusso di lavoro di Kubeflow Pipelines.
Versione 1 del componente Versione 2 del componente SageMaker Ottimizzazione degli iperparametri AI, componente Kubeflow Pipeline, versione 1
X
-
Hosting Deploy
I componenti di hosting consentono di implementare un modello utilizzando i servizi di hosting SageMaker AI di un flusso di lavoro di Kubeflow Pipelines.
Versione 1 del componente Versione 2 del componente SageMaker Servizi di hosting AI - Create Endpoint Kubeflow Pipeline versione 1.
La versione 2 dei componenti di hosting è costituita dai tre sottocomponenti necessari per creare una distribuzione di hosting su AI. SageMaker
-
Una versione 2 del componente SageMaker AI Model Kubeflow Pipelines
responsabile degli artefatti del modello e del percorso del registro delle immagini del modello che contiene il codice di inferenza. -
Un componente SageMaker AI Endpoint Configuration Kubeflow Pipelines versione 2
responsabile della definizione della configurazione dell'endpoint, ad esempio il tipo di istanza, i modelli, il numero di istanze e l'opzione di inferenza serverless. -
Un componente SageMaker AI Endpoint Kubeflow Pipelines versione 2
responsabile della creazione o dell'aggiornamento dell'endpoint sull'IA come specificato nella configurazione dell'endpoint. SageMaker
-
-
Batch Transform
Il componente Batch Transform consente di eseguire lavori di inferenza per un intero set di dati in AI da un flusso di lavoro di Kubeflow Pipelines. SageMaker
Versione 1 del componente Versione 2 del componente SageMaker Componente AI Batch Transform Kubeflow Pipeline versione 1
X
-
Model Monitor
I componenti Model Monitor consentono di monitorare la qualità dei modelli di machine learning SageMaker AI in produzione da un flusso di lavoro di Kubeflow Pipelines.
Versione 1 del componente Versione 2 del componente X
I componenti Model Monitor sono costituiti da quattro sottocomponenti per il monitoraggio della deriva in un modello.
-
Un componente SageMaker AI Data Quality Job Definition Kubeflow Pipelines versione 2
responsabile del monitoraggio della deriva nella qualità dei dati. -
Una versione 2 del componente SageMaker AI Model Quality Job Definition Kubeflow Pipelines
responsabile del monitoraggio della deriva nelle metriche di qualità del modello. -
Un componente SageMaker AI Model Bias Job Definition Kubeflow Pipelines versione 2
responsabile del monitoraggio delle distorsioni nelle previsioni di un modello. -
Una versione 2 del SageMaker componente AI Model Explainability Job Definition Kubeflow Pipelines responsabile del monitoraggio della deriva nell'attribuzione delle feature.
Inoltre, per il monitoraggio puntuale a una frequenza specificata, un quinto componente, il componente SageMaker AI Monitoring Schedule Kubeflow Pipelines versione 2
, è responsabile del monitoraggio dei dati raccolti da un endpoint in tempo reale secondo una pianificazione. Per ulteriori informazioni su Amazon SageMaker Model Monitor, consulta. Monitoraggio della qualità di dati e modelli con Amazon Model Monitor SageMaker
-
autorizzazioni IAM
L'implementazione di Kubeflow Pipelines con componenti SageMaker AI richiede i seguenti tre livelli di autenticazione:
-
Un ruolo IAM che garantisce al nodo gateway (che può corrispondere al computer locale o a un'istanza remota) l'accesso al cluster Amazon Elastic Kubernetes Service (Amazon EKS).
L'utente che accede al nodo gateway assume questo ruolo per svolgere le seguenti operazioni:
-
Creazione di un cluster Amazon EKS e installazione di KFP
-
Creazione di ruoli IAM
-
Creazione di bucket Amazon S3 per i dati di input di esempio
Il ruolo richiede le seguenti autorizzazioni:
-
CloudWatchLogsFullAccess
-
IAMFullAccess
-
AmazonS3FullAccess
-
AmazonEC2FullAccess
-
AmazonEKSAdminPolicy (Crea questa policy utilizzando lo schema di Amazon EKS Policy Examples) Identity-Based
-
-
Un ruolo di esecuzione di Kubernetes IAM assunto dai pod della pipeline Kubernetes (kfp-example-pod-role) o dal pod controller AI Operator for Kubernetes per accedere all'IA. SageMaker SageMaker Questo ruolo viene utilizzato per creare e SageMaker monitorare lavori di intelligenza artificiale da Kubernetes.
Il ruolo richiede le seguenti autorizzazioni:
-
AmazonSageMakerFullAccess
Puoi limitare le autorizzazioni ai pod KFP e controller creando e collegando policy personalizzate.
-
-
Un ruolo di esecuzione dell' SageMaker IA IAM assunto dai job di SageMaker intelligenza artificiale per accedere a AWS risorse come Amazon S3 o Amazon ECR (kfp-example-sagemaker-execution-role).
SageMaker I lavori di intelligenza artificiale utilizzano questo ruolo per:
-
Accedere alle risorse di SageMaker intelligenza artificiale
-
Inserimento di dati da Amazon S3
-
Archiviazione del modello di output su Amazon S3
Il ruolo richiede le seguenti autorizzazioni:
-
AmazonSageMakerFullAccess
-
AmazonS3FullAccess
-
Conversione delle pipeline per utilizzare l'IA SageMaker
Puoi convertire una pipeline esistente per utilizzare l' SageMaker intelligenza artificiale eseguendo il porting dei contenitori di elaborazione Python generici e dei contenitori di formazione. https://docs.aws.amazon.com/sagemaker/latest/dg/your-algorithms-training-algo.html Se utilizzi l' SageMaker intelligenza artificiale per l'inferenza, devi anche allegare le autorizzazioni IAM al tuo cluster e convertire un artefatto in un modello.
