Panoramica di Amazon SageMaker Partner AI Apps
Con Amazon SageMaker Partner AI Apps, gli utenti hanno accesso ad applicazioni di IA generativa e di machine learning (ML) create, pubblicate e distribuite da provider di applicazioni leader del settore. Le Partner AI Apps sono certificate per funzionare su SageMaker AI. Con le Partner AI Apps, gli utenti possono accelerare e migliorare il modo in cui creano soluzioni basate su modelli di fondazione (FM) e modelli di ML classici senza compromettere la sicurezza dei dati sensibili. I dati rimangono totalmente all’interno della configurazione di sicurezza attendibile e non vengono mai condivisi con terze parti.
Come funziona
Le Partner AI Apps sono uno stack di applicazioni completo che include un cluster Amazon Elastic Kubernetes Service e un array di servizi accessori, tra cui Application Load Balancer, Amazon Relational Database Service, bucket Amazon Simple Storage Service, code Amazon Simple Queue Service e cache Redis.
Queste applicazioni di servizio possono essere condivise tra tutti gli utenti in un dominio SageMaker AI e sono allocate da un amministratore. Dopo il provisioning dell’applicazione tramite l’acquisto di un abbonamento su Marketplace AWS, l’amministratore può concedere agli utenti del dominio SageMaker AI le autorizzazioni per accedere alla Partner AI App direttamente da Amazon SageMaker Studio, Amazon SageMaker Unified Studio (anteprima) o utilizzando un URL prefirmato. Per informazioni sull’avvio di un’applicazione da Studio, consulta Avvio di Amazon SageMaker Studio.
La funzionalità Partner AI Apps offre i vantaggi seguenti ad amministratori e utenti.
-
Gli amministratori utilizzano la console SageMaker AI per cercare, rilevare, selezionare e allocare le Partner AI Apps da utilizzare nei loro team di data science e di ML. Dopo l’implementazione delle Partner AI Apps, SageMaker AI esegue le app su Account AWS gestiti dal servizio. Questo riduce in modo significativo il sovraccarico operativo associato alla creazione e al funzionamento di queste applicazioni e contribuisce alla sicurezza e alla privacy dei dati dei clienti.
-
I Data Scientist e gli sviluppatori di ML possono accedere alle Partner AI Apps dall’interno del loro ambiente di sviluppo di ML in Amazon SageMaker Studio o Amazon SageMaker Unified Studio (anteprima). Possono utilizzare Partner AI Apps per analizzare i dati, gli esperimenti e i modelli creati su SageMaker AI. Questo riduce al minimo il cambio di contesto e aiuta ad accelerare la creazione di modelli di fondazione e l’introduzione sul mercato di nuove funzionalità di IA generativa.
Integrazione con Servizi AWS
Partner AI Apps utilizza la configurazione esistente AWS Identity and Access Management (IAM) per l’autorizzazione e l’autenticazione. Di conseguenza, gli utenti non devono fornire credenziali separate per accedere a ciascuna Partner AI App da Amazon SageMaker Studio. Per ulteriori informazioni sull’autorizzazione e l’autenticazione con Partner AI Apps, consulta Configurazione delle Partner AI Apps.
Partner AI Apps si integra anche con Amazon CloudWatch per fornire monitoraggio e gestione operativi. Dalla Console di gestione AWS, i clienti possono anche sfogliare e ottenere informazioni sulle Partner AI Apps, ad esempio relativamente a funzionalità, esperienza del cliente e prezzi. Per informazioni su Amazon CloudWatch, consulta Come funziona Amazon CloudWatch.
Tipi supportati
Partner AI Apps supporta i tipi seguenti:
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
Quando l’amministratore avvia una Partner AI App, deve selezionare la configurazione del cluster di istanze con cui viene avviata la Partner AI App. Questa configurazione è nota come livello della Partner AI App. Il livello di una Partner AI App può corrispondere a uno dei seguenti valori:
-
small -
medium -
large
Le sezioni seguenti forniscono informazioni su ciascuno dei tipi di Partner AI App e sui valori dei livelli della Partner AI App.
Comet fornisce una piattaforma di valutazione del modello end-to-end per gli sviluppatori di IA, con valutazioni LLM, tracciamento degli esperimenti e tracciamento della produzione.
Consigliamo i seguenti livelli della Partner AI App in base al carico di lavoro:
-
small: consigliato per un massimo di 5 utenti e 20 processi in esecuzione. -
medium: consigliato per un massimo di 50 utenti e 100 processi in esecuzione. -
large: consigliato per un massimo di 500 utenti e più di 100 processi in esecuzione.
Nota
SageMaker AI non supporta la visualizzazione dell’interfaccia utente di Comet come parte dell’output di un notebook Jupyter.
Gli sviluppatori di applicazioni di IA e le parti interessate possono utilizzare Deepchecks per convalidare continuamente le applicazioni basate su LLM, comprese le caratteristiche, le metriche delle prestazioni e i potenziali difetti durante l’intero ciclo di vita, dalla pre-implementazione alla sperimentazione interna fino alla produzione.
Consigliamo i seguenti livelli della Partner AI App in base alla velocità desiderata per il carico di lavoro:
-
small: elabora 200 token al secondo. -
medium: elabora 500 token al secondo. -
large: elabora 1300 token al secondo.
La piattaforma di osservabilità IA di Fiddler facilita la convalida, il monitoraggio e l’analisi dei modelli di ML in produzione, inclusi i modelli tabulari, di deep learning, di visione artificiale e di elaborazione del linguaggio naturale.
Consigliamo i seguenti livelli della Partner AI App in base alla velocità desiderata per il carico di lavoro:
-
small: l’elaborazione di 10 milioni di eventi in 5 modelli, 100 funzionalità e 20 iterazioni richiede circa 53 minuti. -
medium: l’elaborazione di 10 milioni di eventi in 5 modelli, 100 funzionalità e 20 iterazioni richiede circa 23 minuti. -
large: l’elaborazione di 10 milioni di eventi in 5 modelli, 100 funzionalità e 100 iterazioni richiede circa 27 minuti.
Lakera Guard è un firewall per applicazioni di IA a bassa latenza per proteggere le applicazioni di IA generativa dalle minacce specifiche dell’IA generativa.
Consigliamo i seguenti livelli della Partner AI App in base al carico di lavoro:
-
small: consigliato per un massimo di 20 automazioni robotiche dei processi (RPA). -
medium: consigliato per un massimo di 100 RPA. -
large: consigliato per un massimo di 200 RPA.
