Apache Spark con Amazon AI SageMaker - Amazon SageMaker AI
Integra la tua applicazione Apache Spark con l'intelligenza artificiale SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Apache Spark con Amazon AI SageMaker

Amazon SageMaker AI Spark è una libreria Spark open source che ti aiuta a creare pipeline di machine learning (ML) Spark con l'intelligenza artificiale. SageMaker Ciò semplifica l'integrazione delle fasi di Spark ML con le fasi di SageMaker intelligenza artificiale, come la formazione e l'hosting dei modelli. Per informazioni su SageMaker AI Spark, consulta il repository SageMaker AI Spark. GitHub I seguenti argomenti forniscono informazioni per imparare a usare Apache Spark con l'intelligenza artificiale. SageMaker

La libreria SageMaker AI Spark è disponibile in Python e Scala. Puoi usare SageMaker AI Spark per addestrare modelli nell' SageMaker intelligenza artificiale utilizzando i frame di org.apache.spark.sql.DataFrame dati nei tuoi cluster Spark. Dopo l'addestramento del modello, puoi anche ospitare il modello utilizzando i servizi di hosting SageMaker AI.

La libreria SageMaker AI Spark forniscecom.amazonaws.services.sagemaker.sparksdk, tra le altre, le seguenti classi:

  • SageMakerEstimator: estende l'interfaccia org.apache.spark.ml.Estimator. Puoi usare questo stimatore per l'addestramento dei modelli nell' SageMaker intelligenza artificiale.

  • KMeansSageMakerEstimator, PCASageMakerEstimator e XGBoostSageMakerEstimator: estendono la classe SageMakerEstimator.

  • SageMakerModel: estende la classe org.apache.spark.ml.Model. Puoi usarlo SageMakerModel per l'hosting di modelli e ottenere inferenze nell' SageMaker intelligenza artificiale.

Puoi scaricare il codice sorgente per entrambe le librerie Python Spark (PySpark) e Scala dal repository SageMaker AI Spark. GitHub

Per l'installazione e gli esempi della libreria SageMaker AI Spark, consulta o. SageMaker Esempi di AI Spark per Scala Risorse per l'utilizzo di esempi di SageMaker AI Spark for Python (PySpark)

Se usi Amazon EMR AWS per gestire i cluster Spark, consulta Apache Spark. Per ulteriori informazioni sull'utilizzo di Amazon EMR nell' SageMaker intelligenza artificiale, consulta. Preparazione dei dati con Amazon EMR

Argomenti

Integra la tua applicazione Apache Spark con l'intelligenza artificiale SageMaker

Di seguito è riportato un riepilogo di alto livello dei passaggi per l'integrazione dell'applicazione Apache Spark con l'intelligenza artificiale. SageMaker

  1. Continua con la preelaborazione dei dati utilizzando la libreria Apache Spark con cui hai familiarità. Il set di dati rimane un DataFrame nel tuo cluster Spark. Carica i tuoi dati in un. DataFrame Preelaboralo in modo da avere una features colonna con org.apache.spark.ml.linalg.Vector of Doubles e una label colonna opzionale con valori di Double tipo.

  2. Usa lo stimatore nella libreria SageMaker AI Spark per addestrare il tuo modello. Ad esempio, se scegli l'algoritmo k-means fornito dall' SageMaker IA per l'addestramento dei modelli, chiama il metodo. KMeansSageMakerEstimator.fit

    Come input fornisci il tuo DataFrame. Lo strumento di valutazione restituisce un oggetto SageMakerModel.

    Nota

    SageMakerModel estende org.apache.spark.ml.Model.

    Il metodo fit esegue quanto segue:

    1. Converte l'input nel formato DataFrame protobuf. Lo fa selezionando le label colonne features e dall'input. DataFrame Quindi carica i dati protobuf in un bucket Amazon S3. Il formato protobuf è efficiente per l'addestramento dei modelli nell'intelligenza artificiale. SageMaker

    2. Avvia l'addestramento dei modelli in SageMaker intelligenza artificiale inviando una richiesta di SageMaker intelligenza artificiale CreateTrainingJob. Una volta completato l'addestramento del modello, l' SageMaker intelligenza artificiale salva gli artefatti del modello in un bucket S3.

      SageMaker L'IA assume il ruolo IAM che hai specificato per la formazione dei modelli per eseguire attività per tuo conto. Ad esempio, utilizza il ruolo per leggere i dati di addestramento da un bucket S3 e scrivere artefatti del modello in un bucket.

    3. Crea e restituisce un oggetto SageMakerModel. Il costruttore svolge le seguenti attività, correlate all'implementazione del modello nell'IA. SageMaker

      1. Invia una CreateModelrichiesta all'IA. SageMaker

      2. Invia una CreateEndpointConfigrichiesta all' SageMaker IA.

      3. Invia una CreateEndpointrichiesta all' SageMaker IA, che quindi avvia le risorse specificate e ospita il modello su di esse.

  3. Puoi ottenere inferenze dal tuo modello ospitato in SageMaker AI con. SageMakerModel.transform

    Fornisci un input DataFrame con caratteristiche come input. Il metodo transform lo converte in un DataFrame contenente inferenze. Internamente, il transform metodo invia una richiesta all'InvokeEndpoint SageMaker API per ottenere inferenze. Il metodo transform collega le inferenze all'input DataFrame.