Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
# CI/CD e automazione per l'IA senza server
Nello sviluppo software tradizionale, l'integrazione e l'implementazione continue () CI/CD) enables teams to test and release changes rapidly and safely. In serverless AI systems, CI/CD diventano ancora più critiche a causa della natura effimera e basata sugli eventi dei servizi e del comportamento volatile dei modelli e dei prompt di intelligenza artificiale.
Dall'infrastruttura (ad esempio AWS Lambda, Amazon API Gateway e agenti Amazon Bedrock) alla logica (ad esempio, prompt, flussi RAG e configurazioni degli strumenti degli agenti), tutto deve essere sottoposto a versioni e testato. Quindi questi componenti devono essere distribuiti in modo coerente in tutti gli ambienti.
Senza l'implementazione di CI/CD pratiche, le organizzazioni si trovano ad affrontare i seguenti rischi:
+ L'errore umano aumenta a causa di modifiche manuali AWS Identity and Access Management (IAM) o rapide.
+ La deriva del modello e dell'infrastruttura si verifica tra development/test/production gli ambienti.
+ I colli di bottiglia dei test rallentano l'innovazione.
+ Gli aggiornamenti non convalidati comportano il rischio di tempi di inattività o cambiamenti di comportamento.
## Funzionalità CI/CD nell'intelligenza artificiale senza server
CI/CD offre le seguenti funzionalità e i relativi vantaggi nell'IA serverless:
+ **Controllo sicuro delle versioni dei prompt e degli agenti**: i prompt e le modifiche alla configurazione degli agenti vengono sottoposti a processi di revisione, test e approvazione.
+ **Riproducibilità dell'infrastruttura**: l'infrastruttura come codice (IaC) utilizza AWS Cloud Development Kit (AWS CDK) o AWS CloudFormation contribuisce a garantire che gli ambienti siano identici in tutte le fasi.
+ **Test integrati: esegui test** tempestivi, convalida dello schema e controlli di sicurezza prima dell'implementazione.
+ **Approvazioni automatiche dell'implementazione**: utilizza i guardrail per la promozione della produzione, tra cui la revisione manuale e le metriche automatizzate.
+ **Rollback e audit**: le versioni con tag consentono un ripristino rapido e la tracciabilità della conformità.
+ **Aggiornamenti frequenti a basso rischio:** consente cicli di iterazione rapidi per applicazioni LLM (Large Language Model) e una tempestiva ottimizzazione.
## Flusso di lavoro tipico per progetti di intelligenza artificiale senza server CI/CD
Una CI/CD pipeline completa per progetti di intelligenza artificiale senza server prevede più fasi. L'elenco seguente descrive ogni fase di un tipico CI/CD flusso di lavoro, incluse le azioni associate e gli strumenti di esempio:
+ Immissione di **codice e prompt**: lo sviluppatore invia la funzione Lambda, il AWS CDK codice o il testo del prompt aggiornati a Git utilizzando strumenti come o. GitHub GitLab
+ **Build and lint**: convalida la sintassi, il formato dei prompt e l'allineamento dello schema utilizzando strumenti come [https://eslint.org/](https://eslint.org/)i validatori for, for e custom prompt. JavaScript [https://pypi.org/project/black/](https://pypi.org/project/black/)
+ **Test unitari e regressione rapida**: esegui test logici e unitari locali e test Golden Prompt-Response utilizzando dispositivi personalizzati. [https://docs.pytest.org/en/stable/](https://docs.pytest.org/en/stable/)
+ Validazione **IaC: sintesi e convalida** e utilizzando e. AWS CDK CloudFormationtemplates `cdk synth` `cfn–lint`
+ **Test di integrazione**: esegui la distribuzione nello staging e richiama l'intero flusso di lavoro (ad esempio, caricamento di Amazon S3 sull'agente Amazon Bedrock) utilizzando agenti simulati. AWS CodeBuild
+ **Approvazione manuale o automatica**: rivedi l'impatto sui costi del modello e l'elenco di controllo per l'approvazione (ad esempio, modifica immediata) utilizzando le porte AWS CodePipeline o GitHub Actions.
+ **Implementazione in produzione**: promuovi gli stack, aggiorna le configurazioni degli agenti Amazon Bedrock e pubblica i prompt utilizzando AWS CodeDeploy e l'interfaccia a AWS SAM riga di comando (CLI). AWS CDK
+ **Smoke test post-implementazione:** convalida gli output degli agenti di produzione, l'acquisizione dei log e la preparazione al rollback utilizzando Amazon Synthetics e test Lambda. CloudWatch
+ **Monitora e osserva**: crea automaticamente dashboard, avvisi sui costi e monitor dell'utilizzo dei token utilizzando i log dei token di CloudWatch Amazon Bedrock (tramite) e. CloudWatch AWS X-Ray
## CI/CD per prompt e agenti Amazon Bedrock
Le configurazioni degli agenti Prompt e Amazon Bedrock richiedono una gestione speciale nel processo CI/CD:
+ Tratta i prompt come risorse con versione nel controllo del codice sorgente (ad esempio,). `/prompts/v1/agent-support-en.yaml`
+ Includi i prompt nei golden test case automatizzati.
+ Implementa le configurazioni degli agenti Amazon Bedrock (inclusi strumenti, istruzioni e knowledge base URIs) utilizzando modelli IaC.
+ Implementa gli aggiornamenti degli agenti Amazon Bedrock solo quando:
+ I test di regressione rapida vengono superati.
+ Le autorizzazioni degli strumenti corrispondono ai modelli IAM.
+ Le soglie di confidenza o i risultati Lambda di convalida soddisfano criteri accettabili.
Questo approccio previene il degrado silenzioso e tempestivo e garantisce un comportamento dell'IA generativa ripetibile in produzione.
## AgentCore CI/CD Integrazione con le pipeline
Amazon Bedrock AgentCore estende CI/CD l'automazione tradizionale introducendo un runtime gestito e una struttura di memoria per la distribuzione, il test e l'evoluzione degli agenti. Le attuali pipeline serverless automatizzano la creazione e la distribuzione del codice dell'agente (ad esempio, tramite AWS CodePipeline, AWS CodeBuild o). AWS CDK Tuttavia, AgentCore si integra direttamente in questo processo per gestire lo stato dell'agente, la memoria e i connettori degli strumenti come parte del ciclo di vita dell'implementazione.
I principali punti di integrazione AgentCore con le CI/CD pipeline sono i seguenti:
+ **Registrazione e controllo delle versioni in fase di esecuzione**: ogni agente distribuito può essere registrato con AgentCore Runtime, che gestisce la scalabilità, il routing e l'orchestrazione del ciclo di vita. Questo approccio sostituisce la necessità di mantenere registri personalizzati o una logica di scoperta dei servizi nei flussi di lavoro CI/CD.
+ **Istantanee di memoria e promozione**: durante i test automatizzati, è AgentCore possibile salvare in modo permanente le istantanee della memoria dell'agente, inclusi il contesto o lo stato appresi, e promuoverle insieme agli artefatti del codice attraverso la pipeline. Questa funzionalità consente la continuità del contesto tra ambienti di sviluppo, gestione temporanea e produzione.
+ **Gestione della configurazione degli strumenti**: utilizzando gli strumenti AgentCore Gateway, i team possono definire punti di integrazione con altri Servizi AWS (ad esempio, Amazon DynamoDB, Amazon S3, Amazon Bedrock o EventBridge Amazon) in modo dichiarativo all' FMsinterno della stessa pipeline. Questa funzionalità di gestione della configurazione aiuta a fornire una configurazione di accesso coerente e verificabile.
+ **Ganci di osservabilità per la convalida**: AgentCore espone la telemetria integrata per l'esecuzione degli agenti, consentendo alle pipeline CI/CD di convalidare automaticamente le metriche relative a prestazioni, ragionamento, qualità e conformità prima dell'implementazione.
CodePipeline Una distribuzione può consistere nei seguenti passaggi:
1. Crea un nuovo codice agente utilizzando CodeBuild.
1. Distribuisci l'agente su AgentCore Runtime per l'esecuzione.
1. Esegui test di integrazione automatizzati che utilizzano AgentCore la memoria per persistere e confrontare lo stato tra le esecuzioni.
1. Promuovi le build di successo fino alla produzione aggiornando al contempo AgentCore i registri per la scoperta e l'orchestrazione.
## Servizi AWS CI/CD per la lavorazione degli utensili
La seguente CI/CD implementazione di Servizi AWS supporto per l'IA serverless:
+ [AWS CodePipeline](https://docs.aws.amazon.com/codepipeline/latest/userguide/welcome.html)fornisce funzionalità di end-to-end pipeline per codice, prompt e infrastruttura.
+ [AWS CodeBuild](https://docs.aws.amazon.com/codebuild/latest/userguide/welcome.html)esegue test, linting e convalida.
+ [AWS CDK](https://docs.aws.amazon.com/cdk/v2/guide/home.html)e [CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/Welcome.html), oltre a HashiCorp [https://www.terraform.io/docs](https://www.terraform.io/docs)(uno strumento di terze parti), definisci infrastruttura, agenti, autorizzazioni e flussi di lavoro.
+ [Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) archivia file di prompt e modelli di agenti con versioni diverse.
+ L'API e la CLI di [Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html) registrano i prompt e le definizioni degli agenti in modo dinamico.
+ [CloudWatch Synthetics](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Synthetics_Canaries.html) esegue sonde post-implementazione e convalida della fiducia.
+ [Lambda @Edge](https://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/lambda-at-the-edge.html) e [Amazon](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-what-is.html) si EventBridge attivano CI/CD a seguito di eventi monitorati, ad esempio deviazioni e errori di implementazione.
## Riepilogo e automazione CI/CD
CI/CD non è solo una best practice, è una necessità per scalare sistemi di intelligenza artificiale sicuri e affidabili. Grazie alla sensibilità immediata, all'autonomia degli strumenti e alla complessità dell'infrastruttura, l'automazione offre diversi vantaggi importanti:
+ Cicli di innovazione più rapidi con rischi ridotti
+ Aggiornamenti governabili e verificabili
+ Ambienti stabili tra team e regioni
+ Test integrati sia per la logica che per il linguaggio
AgentCore Integrata nelle CI/CD pipeline, la distribuzione degli agenti passa dalla distribuzione di codice alla fornitura continua di funzionalità. Ragionamento, memoria e stato diventano risorse implementabili di prima classe nei moderni sistemi di intelligenza artificiale senza server.
Applicando DevOps i principi alle architetture native dell'intelligenza artificiale, le aziende possono portare l'IA alla produzione in modo responsabile, rapido e su larga scala.