View a markdown version of this page

Visualizza i risultati AI/ML del modello utilizzando Flask e AWS Elastic Beanstalk - Prontuario AWS
RiepilogoPrerequisiti e limitazioniArchitectureTools (Strumenti)EpicheRisoluzione dei problemiRisorse correlateInformazioni aggiuntive

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Visualizza i risultati AI/ML del modello utilizzando Flask e AWS Elastic Beanstalk

Chris Caudill e Durga Sury, Amazon Web Services

Riepilogo

La visualizzazione dei risultati dei servizi di intelligenza artificiale e machine learning (AI/ML) spesso richiede chiamate API complesse che devono essere personalizzate dai tuoi sviluppatori e ingegneri. Questo può essere uno svantaggio se gli analisti vogliono esplorare rapidamente un nuovo set di dati.

È possibile migliorare l'accessibilità dei servizi e fornire una forma più interattiva di analisi dei dati utilizzando un'interfaccia utente (UI) basata sul Web che consente agli utenti di caricare i propri dati e visualizzare i risultati del modello in una dashboard.

Questo modello utilizza Flask e Plotly per integrare Amazon Comprehend con un'applicazione web personalizzata e visualizzare sentimenti ed entità a partire dai dati forniti dagli utenti. Il modello fornisce anche i passaggi per distribuire un'applicazione utilizzando. AWS Elastic Beanstalk Puoi adattare l'applicazione utilizzando i servizi di AWS intelligenza artificiale o con un modello addestrato personalizzato ospitato su un endpoint (ad esempio, un SageMaker endpoint Amazon).

Prerequisiti e limitazioni

Prerequisiti

Limitazioni

  • L'applicazione Flask di questo pattern è progettata per funzionare con file.csv che utilizzano una singola colonna di testo e sono limitati a 200 righe. Il codice dell'applicazione può essere adattato per gestire altri tipi di file e volumi di dati.

  • L'applicazione non considera la conservazione dei dati e continua ad aggregare i file utente caricati fino a quando non vengono eliminati manualmente. Puoi integrare l'applicazione con Amazon Simple Storage Service (Amazon S3) per lo storage persistente di oggetti o utilizzare un database come Amazon DynamoDB per lo storage di chiave-valore senza server.

  • L'applicazione prende in considerazione solo i documenti in lingua inglese. Tuttavia, puoi utilizzare Amazon Comprehend per rilevare la lingua principale di un documento. Per ulteriori informazioni sulle lingue supportate per ogni azione, consulta il riferimento all'API nella documentazione di Amazon Comprehend.

Architecture

Architettura dell'applicazione Flask

Flask è un framework leggero per lo sviluppo di applicazioni web in Python. È progettato per combinare la potente elaborazione dei dati di Python con una ricca interfaccia utente web. L'applicazione Flask del pattern mostra come creare un'applicazione Web che consenta agli utenti di caricare dati, inviarli ad Amazon Comprehend per l'inferenza e quindi visualizzare i risultati.   L'applicazione ha la seguente struttura:

  • static— Contiene tutti i file statici che supportano l'interfaccia utente Web (ad esempio JavaScript, CSS e immagini)

  • templates— Contiene tutte le pagine HTML dell'applicazione

  • userData— Memorizza i dati utente caricati

  • application.py— Il file dell'applicazione Flask

  • comprehend_helper.py— Funzioni per effettuare chiamate API verso Amazon Comprehend

  • config.py— Il file di configurazione dell'applicazione

  • requirements.txt— Le dipendenze Python richieste dall'applicazione

Lo application.py script contiene le funzionalità principali dell'applicazione web, che consiste in quattro percorsi Flask. Il diagramma seguente mostra questi percorsi Flask.

I quattro percorsi Flask che costituiscono la funzionalità principale dell'applicazione web.

  • /è la radice dell'applicazione e indirizza gli utenti alla upload.html pagina (memorizzata nella templates directory).

  • /saveFileè una route che viene richiamata dopo che un utente carica un file. Questo percorso riceve una POST richiesta tramite un modulo HTML, che contiene il file caricato dall'utente. Il file viene salvato nella userData directory e il percorso reindirizza gli utenti al /dashboard percorso.

  • /dashboardinvia gli utenti alla pagina. dashboard.html All'interno del codice HTML di questa pagina, esegue il JavaScript codice static/js/core.js che legge i dati dal /data percorso e quindi crea visualizzazioni per la pagina.

  • /dataè un'API JSON che presenta i dati da visualizzare nella dashboard. Questo percorso legge i dati forniti dall'utente e utilizza le funzioni comprehend_helper.py per inviare i dati utente ad Amazon Comprehend per l'analisi del sentiment e il riconoscimento delle entità nominate (NER). La risposta Amazon Comprehend viene formattata e restituita come oggetto JSON.

Architettura di implementazione

Diagramma di architettura per l'utilizzo di Flask ed Elastic Beanstalk per visualizzare i risultati del modello. AI/ML

Considerazioni di progettazione

Per ulteriori informazioni sulle considerazioni di progettazione per le applicazioni distribuite utilizzando Elastic Beanstalk su, consulta la documentazione. Cloud AWS AWS Elastic Beanstalk

Stack tecnologico

  • Amazon Comprehend

  • Elastic Beanstalk

  • Flask 

Automazione e scalabilità

Le implementazioni di Elastic Beanstalk vengono configurate automaticamente con sistemi di bilanciamento del carico e gruppi di auto scaling. Per ulteriori opzioni di configurazione, consulta Configurazione degli ambienti Elastic Beanstalk nella documentazione di Elastic Beanstalk.

Tools (Strumenti)

  • AWS Command Line Interface (AWS CLI) è uno strumento unificato che fornisce un'interfaccia coerente per interagire con tutte le parti di AWS.

  • Amazon Comprehend utilizza l'elaborazione del linguaggio naturale (NLP) per estrarre informazioni dettagliate sul contenuto dei documenti senza richiedere una preelaborazione speciale.

  • AWS Elastic Beanstalkti aiuta a distribuire e gestire rapidamente le applicazioni Cloud AWS senza dover conoscere l'infrastruttura che esegue tali applicazioni.

  • Elastic Beanstalk CLI (EB CLI) è AWS Elastic Beanstalk un'interfaccia a riga di comando che fornisce comandi interattivi per semplificare la creazione, l'aggiornamento e il monitoraggio degli ambienti da un repository locale.

  • Il framework Flask esegue l'elaborazione dei dati e le chiamate API utilizzando Python e offre una visualizzazione web interattiva con Plotly.

Archivio di codice

Il codice per questo modello è disponibile nei risultati del AI/ML modello GitHub Visualize utilizzando Flask e il repository. AWS Elastic Beanstalk

Epiche

OperazioneDescriptionCompetenze richieste

Clona il GitHub repository.

Estrai il codice dell'applicazione dai risultati del AI/ML modello GitHub Visualize utilizzando Flask e il AWS Elastic Beanstalk repository eseguendo il seguente comando:

git clone git@github.com:aws-samples/aws-comprehend-elasticbeanstalk-for-flask.git

Nota

Assicurati di configurare le tue chiavi SSH con. GitHub

Developer

Installa i moduli Python.

Dopo aver clonato il repository, viene creata una nuova aws-comprehend-elasticbeanstalk-for-flask directory locale. In quella directory, il requirements.txt file contiene i moduli e le versioni di Python che eseguono l'applicazione. Utilizzate i seguenti comandi per installare i moduli:

cd aws-comprehend-elasticbeanstalk-for-flask

pip install -r requirements.txt

Sviluppatore Python

Prova l'applicazione localmente.

Avvia il server Flask eseguendo il seguente comando:

python application.py

Ciò restituisce informazioni sul server in esecuzione. Dovresti essere in grado di accedere all'applicazione aprendo un browser e visitando http://localhost:5000

Nota

Se state eseguendo l'applicazione in un AWS Cloud9 IDE, dovete sostituire il application.run() comando nel application.py file con la seguente riga:

application.run(host=os.getenv('IP', '0.0.0.0'),port=int(os.getenv('PORT', 8080)))

È necessario annullare questa modifica prima della distribuzione.

Sviluppatore Python
OperazioneDescriptionCompetenze richieste

Avvia l'applicazione Elastic Beanstalk.

Per avviare il progetto come applicazione Elastic Beanstalk, esegui il seguente comando dalla directory principale dell'applicazione:

eb init -p python-3.6 comprehend_flask --region us-east-1

Importante

 

  • comprehend_flaskè il nome dell'applicazione Elastic Beanstalk e può essere modificato in base alle proprie esigenze. 

  • Puoi sostituirlo Regione AWS con una regione a tua scelta. La regione predefinita in AWS CLI viene utilizzata se non si specifica una regione.

  • L'applicazione è stata creata con Python versione 3.6. Potresti riscontrare errori se usi altre versioni di Python.

Esegui il eb init -i comando per ulteriori opzioni di configurazione della distribuzione.

Architetto, sviluppatore

Implementa l'ambiente Elastic Beanstalk.

Esegui il comando seguente dalla directory principale dell'applicazione:

eb create comprehend-flask-env

Nota

comprehend-flask-envè il nome dell'ambiente Elastic Beanstalk e può essere modificato in base alle proprie esigenze. Il nome può contenere solo lettere, numeri e trattini.

Architetto, sviluppatore

Autorizza la tua distribuzione all'uso di Amazon Comprehend.

Sebbene la tua applicazione possa essere stata distribuita correttamente, dovresti anche fornire alla distribuzione l'accesso ad Amazon Comprehend. ComprehendFullAccessè una policy AWS gestita che fornisce all'applicazione distribuita le autorizzazioni per effettuare chiamate API verso Amazon Comprehend.

Allega la ComprehendFullAccess policy a aws-elasticbeanstalk-ec2-role (questo ruolo viene creato automaticamente per le istanze Amazon Elastic Compute Cloud (Amazon EC2) della tua distribuzione) eseguendo il seguente comando:

aws iam attach-role-policy --policy-arn arn:aws:iam::aws:policy/ComprehendFullAccess --role-name aws-elasticbeanstalk-ec2-role

Importante

aws-elasticbeanstalk-ec2-roleviene creato quando l'applicazione viene distribuita. È necessario completare il processo di distribuzione prima di poter allegare la policy AWS Identity and Access Management (IAM).

Sviluppatore, architetto della sicurezza

Visita la tua applicazione distribuita.

Dopo che l'applicazione è stata distribuita correttamente, puoi visitarla eseguendo il eb open comando.

Puoi anche eseguire il eb status comando per ricevere dettagli sulla distribuzione. L'URL di distribuzione è elencato sottoCNAME.

Architetto, sviluppatore
OperazioneDescriptionCompetenze richieste

Autorizza Elastic Beanstalk ad accedere al nuovo modello.

Assicurati che Elastic Beanstalk disponga delle autorizzazioni di accesso necessarie per il tuo nuovo endpoint modello. Ad esempio, se utilizzi un endpoint Amazon SageMaker AI, la tua distribuzione deve disporre dell'autorizzazione per richiamare l'endpoint. 

Per ulteriori informazioni a riguardo, InvokeEndpointconsulta la documentazione di Amazon SageMaker AI.

Sviluppatore, architetto della sicurezza

Invia i dati dell'utente a un nuovo modello.

Per modificare il modello ML sottostante in questa applicazione, è necessario modificare i seguenti file:

  • comprehend_helper.py— Si tratta dello script Python che si connette ad Amazon Comprehend, elabora la risposta e restituisce il risultato finale all'applicazione. In questo script, puoi indirizzare i dati a un altro servizio di intelligenza artificiale sul Cloud AWS o inviare i dati a un endpoint del modello personalizzato. Ti consigliamo di formattare anche i risultati in questo script per la separazione logica e la riutilizzabilità di questo pattern.

  • application.py— Se si modifica il nome dello comprehend_helper.py script o delle funzioni, è necessario aggiornare application.py lo script dell'applicazione per riflettere tali modifiche.

Data Scientist

Aggiorna le visualizzazioni del pannello di controllo.

In genere, incorporare un nuovo modello ML significa che le visualizzazioni devono essere aggiornate per riflettere i nuovi risultati. Queste modifiche vengono apportate nei seguenti file:

  • templates/dashboard.html— L'applicazione predefinita rappresenta solo due visualizzazioni di base. L'intero layout della pagina può essere modificato in questo file.

  • static/js/core.js— Questo script acquisisce l'output formattato del /data percorso del server Flask e utilizza Plotly per creare visualizzazioni. Puoi aggiungere o aggiornare i grafici della pagina.

Sviluppatore web
OperazioneDescriptionCompetenze richieste

Aggiorna il file dei requisiti dell'applicazione.

Prima di inviare modifiche a Elastic Beanstalk, requirements.txt aggiorna il file in modo che rifletta eventuali nuovi moduli Python eseguendo il seguente comando nella directory principale dell'applicazione:

pip freeze > requirements.txt

Sviluppatore Python

Ridistribuisci l'ambiente Elastic Beanstalk.

Per assicurarti che le modifiche all'applicazione si riflettano nella distribuzione di Elastic Beanstalk, vai alla directory principale dell'applicazione ed esegui il comando seguente:

eb deploy

Questo invia la versione più recente del codice dell'applicazione alla distribuzione esistente di Elastic Beanstalk.

Amministratore di sistema, Architetto

Risoluzione dei problemi

ProblemaSoluzione

Unable to assume role "arn:aws:iam::xxxxxxxxxx:role/aws-elasticbeanstalk-ec2-role". Verify that the role exists and is configured correctly.

Se questo errore si verifica durante l'esecuzioneeb create, crea un'applicazione di esempio sulla console Elastic Beanstalk per creare il profilo di istanza predefinito. Per ulteriori informazioni su questo argomento, consulta Creazione di un ambiente Elastic Beanstalk nella documentazione. AWS Elastic Beanstalk

Your WSGIPath refers to a file that does not exist.

Questo errore si verifica nei registri di distribuzione perché Elastic Beanstalk prevede che il codice Flask venga denominato. application.py Se hai scelto un nome diverso, eseguilo eb config e modificalo WSGIPath come mostrato nel seguente esempio di codice:

aws:elasticbeanstalk:container:python:
     NumProcesses: '1'
     NumThreads: '15'
     StaticFiles: /static/=static/
     WSGIPath: application.py

Assicurati di sostituirlo application.py con il nome del file.

Puoi anche sfruttare Gunicorn e un Procfile. Per ulteriori informazioni su questo approccio, vedere Configurazione del server WSGI con un Procfile nella documentazione. AWS Elastic Beanstalk

Target WSGI script '/opt/python/current/app/application.py' does not contain WSGI application 'application'.

Elastic Beanstalk si aspetta che la variabile che rappresenta l'applicazione Flask venga denominata. application Assicurati che il application.py file utilizzi application come nome della variabile:

application = Flask(__name__)

The EB CLI cannot find your SSH key file for keyname

Utilizza l'EB CLI per specificare quale coppia di chiavi utilizzare o per creare una coppia di chiavi per le istanze Amazon EC2 della tua distribuzione. Per risolvere l'errore, esegui eb init -i e una delle opzioni chiederà:

Do you want to set up SSH for your instances?

YRispondi con per creare una coppia di chiavi o specificare una coppia di chiavi esistente.

Ho aggiornato il mio codice e l'ho ridistribuito, ma la mia distribuzione non riflette le mie modifiche.

Se utilizzi un repository Git con la tua distribuzione, assicurati di aggiungere e confermare le modifiche prima di ridistribuirle.

Stai visualizzando l'anteprima dell'applicazione Flask da un AWS Cloud9 IDE e riscontri degli errori.

Per ulteriori informazioni su questo argomento, consulta Anteprima delle applicazioni in esecuzione nell' AWS Cloud9 IDE nella documentazione. AWS Cloud9

Risorse correlate

Informazioni aggiuntive

Elaborazione del linguaggio naturale con Amazon Comprehend

Scegliendo di utilizzare Amazon Comprehend, puoi rilevare entità personalizzate in singoli documenti di testo eseguendo analisi in tempo reale o processi batch asincroni. Amazon Comprehend consente inoltre di addestrare modelli personalizzati di riconoscimento delle entità e classificazione del testo che possono essere utilizzati in tempo reale creando un endpoint.

Questo modello utilizza processi batch asincroni per rilevare sentimenti ed entità da un file di input che contiene più documenti. L'applicazione di esempio fornita da questo modello è progettata per consentire agli utenti di caricare un file.csv contenente una singola colonna con un documento di testo per riga. Il comprehend_helper.py file nei risultati del AI/ML modello GitHub Visualize utilizzando Flask e il AWS Elastic Beanstalk repository legge il file di input e lo invia ad Amazon Comprehend per l'elaborazione.

BatchDetectEntities

Amazon Comprehend esamina il testo di un batch di documenti alla ricerca di entità denominate e restituisce l'entità, l'ubicazione, il tipo di entità rilevati e un punteggio che indica il livello di fiducia di Amazon Comprehend. È possibile inviare un massimo di 25 documenti in una chiamata API, con ogni documento di dimensioni inferiori a 5.000 byte. Puoi filtrare i risultati per mostrare solo determinate entità in base al caso d'uso. Ad esempio, è possibile ignorare il tipo di ‘quantity’ entità e impostare un punteggio di soglia per l'entità rilevata (ad esempio, 0,75). Ti consigliamo di esaminare i risultati per il tuo caso d'uso specifico prima di scegliere un valore di soglia. Per ulteriori informazioni su questo argomento, consulta la BatchDetectEntitiesdocumentazione di Amazon Comprehend.

BatchDetectSentiment

Amazon Comprehend ispeziona un batch di documenti in entrata e restituisce il sentimento prevalente per ogni documento (,, o). POSITIVE NEUTRAL MIXED NEGATIVE È possibile inviare un massimo di 25 documenti in una chiamata API, con ogni documento di dimensioni inferiori a 5.000 byte. L'analisi del sentimento è semplice e puoi scegliere il sentimento con il punteggio più alto da visualizzare nei risultati finali. Per ulteriori informazioni su questo argomento, consulta la BatchDetectSentimentdocumentazione di Amazon Comprehend.

Gestione della configurazione di Flask

I server Flask utilizzano una serie di variabili di configurazione per controllare il funzionamento del server. Queste variabili possono contenere output di debug, token di sessione o altre impostazioni dell'applicazione. È inoltre possibile definire variabili personalizzate a cui è possibile accedere mentre l'applicazione è in esecuzione. Esistono diversi approcci per impostare le variabili di configurazione.

In questo modello, la configurazione è definita config.py ed ereditata all'internoapplication.py.

  • config.pycontiene le variabili di configurazione impostate all'avvio dell'applicazione. In questa applicazione, viene definita una DEBUG variabile per indicare all'applicazione di eseguire il server in modalità di debug.

    Nota

    La modalità di debug non deve essere utilizzata quando si esegue un'applicazione in un ambiente di produzione. UPLOAD_FOLDERè una variabile personalizzata definita per essere referenziata più avanti nell'applicazione e che indica dove devono essere archiviati i dati utente caricati.

  • application.pyavvia l'applicazione Flask ed eredita le impostazioni di configurazione definite in. config.py Ciò viene eseguito dal seguente codice:

application = Flask(__name__)
application.config.from_pyfile('config.py')