Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
# Strategie di esecuzione dei modelli per carichi di lavoro di intelligenza artificiale
Alla base di qualsiasi architettura di intelligenza artificiale c'è il livello di esecuzione del modello, il componente che esegue l'inferenza, alimenta le previsioni o genera contenuti. AWS offre due percorsi potenti e predisposti per l'esecuzione di carichi di lavoro di intelligenza artificiale:
+ [Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/models-supported.html) fornisce l'accesso ai modelli di base (FMs) per casi d'uso di intelligenza artificiale generativa.
+ [Amazon SageMaker Serverless Inference consente la](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html) distribuzione scalabile di modelli addestrati su misura per carichi di lavoro tradizionali di machine learning (ML).
Comprendendo quando e come utilizzarli Servizio AWS, le aziende possono ottimizzarli sia per le esigenze aziendali che per l'efficienza operativa.
## Amazon Bedrock: modelli Foundation come servizio
[Amazon Bedrock è un servizio completamente gestito che fornisce l'accesso senza server ai principali fornitori di intelligenza artificiale come Anthropic (Claude), Meta (Llama) MistralCohere, e Amazon Titan Amazon Nova. FMs ](https://docs.aws.amazon.com/nova/latest/userguide/what-is-nova.html) Puoi interagire con questi modelli utilizzando semplici chiamate API, senza dover fornire l'infrastruttura GPUs, gestire o perfezionare i modelli.
Le funzionalità principali di Amazon Bedrock includono quanto segue:
+ **Generazione di testo**: riepilogo, riscrittura, creazione di contenuti e domande e risposte.
+ **Generazione di codice**: linguaggio naturale per codificare.
+ **Classificazione ed estrazione**: etichettatura, analisi e etichettatura semantica.
+ **Flussi di lavoro RAG**: integrazione con le knowledge base per risposte fondate.
+ **Agenti**: abilita l'orchestrazione e l'uso degli strumenti autonomi.
+ **Intelligenza multimodale**: tramite Amazon Nova, comprendi e genera testi, immagini e video.
+ Supporto per **la messa a punto e la distillazione:** tramite Amazon Nova Premier, puoi addestrare modelli specifici per attività o creare modelli compatti per studenti.
+ **Prestazioni e costi su più livelli**: scegli tra i modelli Amazon Nova Micro, Nova Lite, Nova Pro e Nova Premier per bilanciare latenza, precisione e prezzo.
I vantaggi operativi di Amazon Bedrock includono:
+ **Gestione dei modelli**: non è richiesto l'hosting o il controllo delle versioni del modello.
+ **Gestione sicura dei dati**: ambiente isolato degli inquilini e nessuna formazione sui dati degli utenti.
+ **Fatturazione basata su token: fornisce una modellazione** dei costi prevedibile.
+ **Unificazione delle API multimodali**: gestisce immagini input/output , video e testo tramite la stessa interfaccia Amazon Bedrock.
+ **Opzioni a bassa latenza**: disponibili con Amazon Nova Micro e Nova Lite, ideali per app di intelligenza artificiale generativa edge e rivolte agli utenti.
+ **Compatibilità aziendale**: tutti i modelli Amazon Nova sono compatibili con le architetture Amazon Bedrock Knowledge Bases e Retrieval Augmented Generation (RAG).
Amazon Bedrock si integra con altre Servizi AWS funzionalità nei seguenti modi:
+ Attivato da Lambda, Step Functions o API Gateway
+ Integrato con Amazon Bedrock Agents per un'orchestrazione basata sugli obiettivi
+ Funziona perfettamente con le [Knowledge Base di Amazon Bedrock e le pipeline](https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html) RAG
### Casi d'uso ideali per Amazon Bedrock
Amazon Bedrock è adatto a una varietà di scenari, come i seguenti:
+ **Attività di intelligenza artificiale generativa**: crea contenuti e documentazione di marketing e potenzia i chatbot.
+ **Assistenti conversazionali**: crea bot di supporto e copiloti interni.
+ **Recupero della conoscenza: da utilizzare per attività di riepilogo e** ricerca semantica.
+ **Pianificazione dinamica**: potenti sistemi decisionali basati su agenti.
+ **Generazione multimodale**: usa [Amazon Nova Canvas](https://docs.aws.amazon.com/nova/latest/userguide/image-generation.html) per generare immagini e [Amazon Nova Reel](https://docs.aws.amazon.com/nova/latest/userguide/video-generation.html) per produrre video da istruzioni e contesti strutturati.
+ **Assistenti aziendali**: usa [Amazon Nova Pro](https://docs.aws.amazon.com/nova/latest/userguide/what-is-nova.html) per abilitare strumenti decisionali orientati agli obiettivi basati su dati proprietari.
+ **Feedback sull'esperienza utente in tempo reale**: analizza e rispondi alle azioni dei clienti con una latenza inferiore a 100 ms utilizzando Amazon Nova Micro.
## Amazon SageMaker Serverless Inference: hosting con modelli personalizzati
Amazon SageMaker Serverless Inference è progettato per sviluppatori e data scientist che hanno addestrato i propri modelli (ad esempio, XGBoost PyTorchScikit-learn, eTensorFlow). Utilizzando SageMaker Serverless Inference, possono distribuire i propri modelli in un ambiente scalabile e senza server.
A differenza di Amazon Bedrock, SageMaker Serverless Inference ti dà il controllo sull'architettura del modello, sui dati di addestramento e sulla logica.
Le funzionalità chiave di SageMaker Serverless Inference includono quanto segue:
+ Ospita modelli ML tradizionali come classificazione, regressione, elaborazione del linguaggio naturale (NLP) e previsione
+ Supporta endpoint multimodello
+ Supporta il ridimensionamento automatico in modo che l'elaborazione venga fornita su richiesta e spenta quando è inattiva
+ Esegue l'inferenza su immagini di container personalizzate o framework ML predefiniti
I vantaggi operativi di SageMaker Serverless Inference includono quanto segue:
+ Pay-per-inference modello con zero costi di inattività
+ Endpoint completamente gestiti e nessuna configurazione del server
+ Si integra con pipeline di formazione e notebook
SageMaker Serverless Inference si integra con altre funzionalità nei seguenti modi: Servizi AWS
+ Richiamato utilizzando AWS Lambda Step Functions o chiamate SDK e API
+ Funziona con SageMaker Pipelines per operazioni di apprendimento end-to-end automatico () MLOps
+ Log e metriche integrati con Amazon CloudWatch
### Casi d'uso ideali per Serverless Inference SageMaker
SageMaker Serverless Inference è una buona scelta per varie applicazioni di machine learning:
+ **Analisi predittiva**: utilizzata per la previsione delle vendite e i modelli di previsione del tasso di abbandono.
+ **Classificazione del testo**: supporta attività come il rilevamento dello spam e l'analisi del sentiment.
+ **Classificazione delle immagini**: consente il riconoscimento ottico dei caratteri (OCR) dei documenti e le applicazioni di imaging medico.
+ **Elaborazione personalizzata del linguaggio naturale (NLP)**: gestisce le attività di riconoscimento delle entità e di etichettatura dei documenti.
## Scelta tra Amazon Bedrock e SageMaker Serverless Inference
Sia Amazon Bedrock che SageMaker Serverless Inference offrono percorsi serverless per un'esecuzione AI scalabile e pronta per la produzione. Insieme, costituiscono il livello di esecuzione principale delle architetture AI moderne, basate sugli eventi e senza server. AWS La tabella seguente confronta questi servizi tra le dimensioni chiave.
|
|
| **Dimensione** | **Amazon Bedrock** | **SageMaker Inferenza senza server** |
| --- |--- |--- |
| Tipo di modello | Modelli di base () LLMs | Modelli ML addestrati su misura |
| Sforzo di configurazione | Minimo (nessuna formazione o hosting) | Richiede la formazione e l'imballaggio del modello |
| Caso d’uso | Generativo, colloquiale e semantico | Dati predittivi, numerici e strutturati |
| Scalabilità | Completamente serverless e scalabile automaticamente | Completamente serverless e scalabile automaticamente |
| Modello di costi | Pagamento per token | Pagamento per inferenza |
| Integrazione | API Gateway, Lambda, Amazon Bedrock Agents e RAG | Lambda, Step Functions e pipeline CI/CD |
| Ottimizzazione richiesta | Nessuna (zero-shot o few-shot) | Controllo completo (iperparametri e riqualificazione) |
La scelta del servizio giusto dipende dalla natura del carico di lavoro di intelligenza artificiale:
+ Usa Amazon Bedrock quando hai bisogno di flessibilità semantica, flussi di lavoro orientati agli obiettivi e iterazione rapida con i modelli di base.
+ Usa SageMaker Serverless Inference quando disponi di modelli proprietari, input strutturati o hai bisogno del pieno controllo su formazione e implementazione.
+ Utilizzalo SageMaker JumpStart per scegliere tra centinaia di [algoritmi integrati](https://docs.aws.amazon.com/sagemaker/latest/dg/algos.html) con modelli preaddestrati provenienti da hub di modelli, tra cui TensorFlow Hub, Hub e. PyTorch Hugging Face MxNet GluonCV