Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Risorse per SageMaker l'utilizzo di Hugging Face con Amazon AI
Amazon SageMaker AI consente ai clienti di addestrare, ottimizzare ed eseguire l'inferenza utilizzando i modelli Hugging Face per il Natural Language Processing (NLP) su intelligenza artificiale. SageMaker Puoi utilizzare Hugging Face sia per l’addestramento che per l'inferenza. La sezione seguente fornisce informazioni sui modelli Hugging Face e include materiale di riferimento che puoi utilizzare per imparare a usare Hugging Face con l'intelligenza artificiale. SageMaker
Questa funzionalità è disponibile attraverso lo sviluppo di container AWS per il Deep Learning Hugging Face. Questi container includono la libreria di trasformatori, tokenizer e set di dati Hugging Face, che consente di utilizzare queste risorse per i processi di addestramento e inferenza. Per un elenco completo delle aree e degli URL di immagini disponibili dei container per il Deep Learning, consulta Available Deep Learning Containers Images
Per utilizzare gli Hugging Face Deep Learning Containers con l'SDK SageMaker Python per la formazione, consulta Hugging Face AI. SageMaker ModelTrainer
Per ulteriori informazioni su Hugging Face e sui modelli in esso disponibili, consulta la documentazione su Hugging Face
Addestramento
Per l’addestramento, utilizza uno delle migliaia di modelli disponibili in Hugging Face ed eseguine il fine-tuning per il tuo caso d’uso specifico con un addestramento aggiuntivo. Con l' SageMaker intelligenza artificiale, puoi utilizzare la formazione standard o sfruttare la formazione SageMaker AI Distributed Data e Model Parallel.
Come altri lavori di SageMaker formazione che utilizzano codice personalizzato, puoi acquisire le tue metriche passando una definizione delle metriche all'SDK SageMaker Python. Per un esempio, vedi Defining Training Metrics (Python SDK). SageMaker Puoi accedere alle metriche acquisite utilizzando CloudWatch e come DataFrame Pandas utilizzando il metodo. TrainingJobAnalytics
Come eseguire l'allenamento con Hugging Face ModelTrainer
Puoi implementare Hugging Face ModelTrainer per i lavori di formazione utilizzando l'AI Python SDK. SageMaker L'SDK SageMaker Python è una libreria open source per la formazione e l'implementazione di modelli di machine learning sull'IA. SageMaker Per ulteriori informazioni su Hugging Face ModelTrainer, consulta la documentazione AI Python SDK. SageMaker
Con SageMaker Python SDK, puoi eseguire lavori di formazione utilizzando Hugging Face ModelTrainer nei seguenti ambienti:
-
Amazon SageMaker Studio Classic: Studio Classic è il primo ambiente di sviluppo (IDE) completamente integrato per l'apprendimento automatico (ML). Studio Classic offre un’unica interfaccia visiva basata sul web in cui puoi eseguire tutte le fasi di sviluppo di ML necessarie per:
-
preparare
-
build
-
addestrare ed eseguire il fine-tuning
-
implementare e gestire modelli
Per informazioni su come utilizzare i notebook Jupyter in Studio Classic, consulta Usa i notebook Amazon SageMaker Studio Classic.
-
-
SageMakerIstanze di notebook: un'istanza di Amazon SageMaker Notebook è un'istanza di calcolo di machine learning (ML) che esegue l'app Jupyter Notebook. Questa app consente di eseguire notebook Jupyter nell’istanza del notebook per:
-
preparare ed elaborare i dati
-
scrivere codice per addestrare i modelli
-
distribuisci modelli sull'hosting AI SageMaker
-
testa o convalida i tuoi modelli senza funzionalità di SageMaker Studio come Debugger, Model Monitoring e un IDE basato sul web
-
-
A livello locale: se disponi di connettività AWS e disponi delle autorizzazioni SageMaker AI appropriate, puoi utilizzare Python SDK localmente. SageMaker Con l'uso locale, puoi avviare lavori di formazione e inferenza a distanza per Hugging Face in AI on. SageMaker AWS Funziona sul tuo computer locale e su altri AWS servizi con un SageMaker Python SDK connesso e le autorizzazioni appropriate.
Inferenza
Per l'inferenza, puoi utilizzare il tuo modello Hugging Face addestrato o uno dei modelli Hugging Face preaddestrati per implementare un lavoro di inferenza con l'intelligenza artificiale. SageMaker Con questa collaborazione, è necessaria solo una riga di codice per implementare sia i modelli addestrati che i modelli preaddestrati con l'intelligenza artificiale. SageMaker Puoi anche eseguire processi di inferenza senza dover scrivere alcun codice di inferenza personalizzato. Con il codice di inferenza personalizzato, puoi personalizzare la logica di inferenza fornendo il tuo script Python.
Come implementare un processo di inferenza utilizzando i container per il Deep Learning Hugging Face
Hai due opzioni per eseguire l'inferenza con l'IA. SageMaker Puoi eseguire l'inferenza utilizzando un modello che hai addestrato o implementare un modello Hugging Face pre-addestrato.
-
Esegui l’inferenza con il tuo modello addestrato: hai due opzioni per eseguire l’inferenza con il tuo modello addestrato.
-
Esegui l'inferenza con un modello che hai addestrato utilizzando un modello Hugging Face esistente con SageMaker AI Hugging Face Deep Learning Containers.
-
Porta il tuo modello Hugging Face esistente e implementalo utilizzando l'intelligenza artificiale. SageMaker
Quando esegui l'inferenza con un modello che hai addestrato con SageMaker AI Hugging Face ModelTrainer, puoi implementare il modello immediatamente dopo il completamento dell'addestramento. In alternativa, puoi caricare il modello addestrato in un bucket Amazon S3 e importarlo quando esegui l’inferenza in un secondo momento.
Se utilizzi il tuo modello Hugging Face, devi caricare il modello addestrato in un bucket Amazon S3. Quindi importi questo bucket durante l’esecuzione dell’inferenza, come mostrato in Deploy your Hugging Face Transformers for inference example
. -
-
Esegui l'inferenza con un HuggingFace modello preaddestrato: puoi utilizzare uno dei migliaia di modelli Hugging Face preaddestrati per eseguire i tuoi lavori di inferenza senza bisogno di ulteriore formazione. Per eseguire l’inferenza, seleziona il modello preaddestrato dall’elenco dei modelli Hugging Face
, come descritto in Deploy pre-trained Hugging Face Transformers for inference example .
Cosa desideri fare?
I seguenti taccuini nell'archivio di appunti Hugging Face mostrano come utilizzare i contenitori di deep learning Hugging Face con intelligenza artificiale in vari casi d'uso. SageMaker
- Voglio addestrare e implementare un modello di classificazione del testo utilizzando Hugging Face in AI con. SageMaker PyTorch
-
Per un esempio di Jupyter Notebook, guarda la demo introduttiva. PyTorch
- Voglio addestrare e implementare un modello di classificazione del testo utilizzando Hugging Face in AI con. SageMaker TensorFlow
-
Per un esempio di Jupyter Notebook, vedi l'esempio Getting Started. TensorFlow
- Voglio eseguire un training distribuito con parallelismo dei dati utilizzando Hugging Face e AI Distributed. SageMaker
-
Per un esempio di notebook Jupyter, consulta l'esempio di addestramento distribuito
. - Voglio eseguire un training distribuito con il parallelismo dei modelli utilizzando Hugging Face e AI Distributed. SageMaker
-
Per un esempio di notebook Jupyter, consulta l'esempio del parallelismo dei modelli
. - Voglio utilizzare un'istanza spot per addestrare e implementare un modello utilizzando Hugging Face in AI. SageMaker
-
Per un esempio di notebook Jupyter, consulta l'esempio di istanze spot.
- Desidero acquisire metriche personalizzate e utilizzare SageMaker AI Checkpointing per addestrare un modello di classificazione del testo utilizzando Hugging Face in AI. SageMaker
-
Per un esempio di notebook Jupyter, consulta l'esempio training with Custom Metrics.
- Voglio addestrare un modello distribuito di domande e risposte TensorFlow utilizzando Hugging Face in AI. SageMaker
-
Per un esempio di Jupyter Notebook, vedi l'esempio di Distributed Training. TensorFlow
- Voglio addestrare un modello di riepilogo distribuito utilizzando Hugging Face in AI. SageMaker
-
Per un esempio di notebook Jupyter, consulta l'esempio di addestramento distribuito di riepilogo
. - Voglio addestrare un modello di classificazione delle immagini usando Hugging Face in AI. SageMaker
-
Per un esempio di notebook Jupyter, consulta l'esempio di addestramento Vision Transformer
. - Voglio implementare il mio modello Hugging Face addestrato nell'IA. SageMaker
-
Per un esempio di notebook Jupyter, consulta l’esempio Deploy your Hugging Face Transformers for inference
. - Voglio implementare un modello Hugging Face preaddestrato nell'IA. SageMaker
-
Per un esempio di Jupyter Notebook, consulta l’esempio Deploy your Hugging Face Transformers for inference
.
