Testare una policy di ragionamento automatico - Amazon Bedrock
Creare un test manualmente nella consoleGenerare test automaticamente nella consoleEseguire test nella consoleCreare un test manualmente utilizzando l’APIGenerare test automaticamente nell’APIEseguire i test utilizzando l’API

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Testare una policy di ragionamento automatico

Si testa una politica inviando istruzioni in linguaggio naturale o QnAs per la convalida, quindi si ispeziona Automated Reasoning e verifica il feedback per assicurarsi che stia traducendo il testo di input utilizzando le variabili corrette e che le regole in base alle quali esegue la convalida siano corrette.

È possibile creare test in due modi: definendo manualmente coppie question-and-answer (QnA) o generando automaticamente scenari di test. QnAs sono domande specifiche dell'utente con le corrispondenti risposte del modello che scrivi per testare casi d'uso particolari, mentre gli scenari di test sono situazioni logiche generate automaticamente dalle regole delle policy che possono essere realistiche o meno nel contesto dell'applicazione.

Nota

Video tutorial: per una guida step-by-step dettagliata sul test di una policy di ragionamento automatico, guarda il seguente tutorial:

Demo tutorial 2 - Test della policy di ragionamento automatico

I test dovrebbero imitare le domande poste dagli utenti dell’applicazione e le risposte che potrebbero ottenere da un modello di fondazione. Il ragionamento automatico valuta l’accuratezza dei prompt e delle risposte rispetto alle regole della policy di ragionamento automatico. Il ragionamento automatico esegue questa convalida nelle seguenti fasi:

Suggerimento

Best practice: crea test che coprano scenari validi e non validi. Ad esempio, se la policy prevede che “I dipendenti devono avere 1 anno di servizio per il congedo parentale”, creare test per verificare risposte corrette che riportano questa regola e risposte errate che indicano un requisito diverso.

  1. Utilizza la domanda e la risposta del test insieme alle variabili della policy e alle relative descrizioni per tradurre gli input del linguaggio naturale in logica formale.

  2. Convalida la logica tradotta rispetto alla policy utilizzando solide tecniche matematiche.

Nota

Il ragionamento automatico traduce il linguaggio naturale in logica utilizzando tecniche di intelligenza artificiale che non possono garantire una precisione perfetta. Tuttavia, test efficaci aiuteranno a rilevare e correggere possibili imprecisioni nelle policy di ragionamento automatico.

Creare un test manualmente nella console

  1. Vai alla politica di ragionamento automatico che desideri testare (ad esempio,). MyHrPolicy

  2. Scegli Visualizza test, poi seleziona Aggiungi.

  3. Nella finestra di dialogo Aggiungi test, procedi come segue:

    1. Includi un input (facoltativo) e un output. Rappresentano la domanda che un utente potrebbe porre e la risposta che il modello di fondazione potrebbe fornire. Insieme formano una coppia di domanda e risposta che verifica il modo in cui la policy convalida le interazioni reali con gli utenti.

    2. Scegli il risultato che ti aspetti dal test (ad esempio Valido o Non valido).

    3. Seleziona una soglia di affidabilità, che è il livello di affidabilità minimo per la convalida logica.

  4. Seleziona Salva per creare il test.

Nota

Durante la creazione di un test, la soglia di affidabilità è facoltativa.

  • I controlli di ragionamento automatico utilizzano più modelli linguistici di grandi dimensioni (LLMs) per tradurre i test in linguaggio naturale in risultati. Restituisce solo esiti “attendibili” supportati da una percentuale significativa delle traduzioni di LLM. La soglia di affidabilità definisce la percentuale minima di supporto necessaria affinché una traduzione diventi un esito valido.

  • Se sono presenti uno o più risultati tradotti che non sono supportati da una percentuale sufficiente di traduzioni di LLM, i controlli del ragionamento automatico generano un esito aggiuntivo “TRANSLATION_AMBIGUOUS”. Questo esito contiene informazioni per evidenziare le differenze tra le traduzioni di LLM in disaccordo.

Generare test automaticamente nella console

  1. Vai alla politica di ragionamento automatico che desideri testare (ad esempio, MyHrPolicy).

  2. Scegli Visualizza test, poi seleziona Aggiungi.

  3. Nella finestra di dialogo Genera scenari, esamina lo scenario generato e le regole correlate. Poi esegui una delle seguenti operazioni:

    • Se ritieni che lo scenario possa realizzarsi (noto anche come scenario soddisfacente), seleziona il pollice rivolto verso l’alto (sì).

    • In caso contrario, seleziona il pollice rivolto verso il basso (no). Puoi anche fornire un’annotazione per spiegare perché ritieni che lo scenario non sia possibile. È simile a lasciare un commento in un documento.

    • Se vuoi testare uno scenario diverso, scegli Rigenera scenario.

    Suggerimento

    Se vuoi esaminare la versione logica formale dello scenario, attiva Mostra SMT-LIB.

  4. Seleziona Salva e chiudi per salvare il test o Salva e aggiungi un altro test.

  5. Se hai fornito annotazioni a uno qualsiasi dei test, scegli Applica annotazioni. Il ragionamento automatico apporterà modifiche alla policy in base al tuo feedback.

  6. Nella schermata Rivedi le modifiche alla policy, esamina le modifiche alle regole, alle variabili e ai tipi di variabili della policy. Poi seleziona Accetta modifiche.

Eseguire test nella console

  1. Vai alla policy di ragionamento automatico che desideri convalidare (ad esempio,). MyHrPolicy

  2. Scegli Visualizza test.

  3. Esegui una delle seguenti operazioni:

    • Per eseguire tutti i test della tua policy, scegli Convalida tutti i test.

    • Per eseguire i test singolarmente, seleziona il pulsante Azione accanto al test che vuoi eseguire e scegli Convalida.

Creare un test manualmente utilizzando l’API

È possibile utilizzare l’operazione dell’API CreateAutomatedReasoningPolicyTestCase per creare un test per la policy di ragionamento automatico a livello di codice.

Parametri della richiesta

Per creare un test, i seguenti parametri sono obbligatori o facoltativi:

policyArn(obbligatorio)

Il nome della risorsa Amazon (ARN) della policy di ragionamento automatico per cui creare il test.

queryContent (facoltativo)

La query o il prompt di input che ha generato il contenuto, ad esempio la domanda dell'utente. Fornisce il contesto per la convalida.

guardContent(obbligatorio)

Il contenuto di output convalidato dalla policy di ragionamento automatico. Rappresenta la risposta del modello di fondazione di cui verrà verificata l’accuratezza.

expectedAggregatedFindingsResult (facoltativo)

Il risultato di convalida previsto per il test (ad es. VALID o INVALID). Il risultato effettivo del test viene selezionato ordinando i risultati in ordine di importanza e selezionando il risultato peggiore. L'ordinamento è: ambiguo, impossibile, non valido, soddisfacente e valido. Ad esempio, un test che restituisce due risultati validi e uno impossibile avrà come risultato aggregato impossibile.

confidenceThreshold (facoltativo)

Il livello minimo di affidabilità per la convalida logica. Il contenuto che soddisfa la soglia è considerato un esito ad alta affidabilità che può essere convalidato.

Esempio

L’esempio seguente mostra come creare un test per una policy di ragionamento automatico utilizzando la AWS CLI:

aws bedrock create-automated-reasoning-policy-test-case \
  --policy-arn "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk" \
  --query-content "Can I take a leave of absence if I'm a part-time employee?" \
  --guard-content "No, only full-time employees are eligible for leave of absence." \
  --expected-aggregated-findings-result "VALID" \
  --confidence-threshold 0.8

Risposta di esempio:

{
  "testCaseId": "test-12345abcde",
  "policyArn": "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk"
}

Generare test automaticamente nell’API

Puoi utilizzare l'operazione GetAutomatedReasoningPolicyNextScenario API per recuperare i prossimi scenari di test generati in base alle regole della tua politica.

Parametri della richiesta

Per generare gli scenari di test, i seguenti parametri sono obbligatori o facoltativi:

policyArn(richiesto)

Il nome della risorsa Amazon (ARN) della policy di ragionamento automatico per cui generare scenari di test.

buildWorkdflowId(richiesto)

L'identificatore univoco del flusso di lavoro di creazione per gli scenari generati. Puoi recuperare il flusso di lavoro di compilazione più recente utilizzando l'azione ListAutomatedReasoningPolicyBuildWorkflows API.

Esempio

L'esempio seguente mostra come recuperare i successivi scenari di test generati per una politica di ragionamento automatico utilizzando: AWS CLI

aws bedrock get-automated-reasoning-policy-next-scenario \
  --policy-arn "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk" \
  --build-worflow-id d40fa7fc-351e-47d8-a338-53e4b3b1c690

La risposta includerà scenari di test generati che è possibile esaminare e utilizzare per creare test.

Eseguire i test utilizzando l’API

È possibile utilizzare l'operazione StartAutomatedReasoningPolicyTestWorkflow API per eseguire i test della policy di Automated Reasoning e l'GetAutomatedReasoningPolicyTestResultoperazione per recuperare i risultati.

Parametri della richiesta

Per eseguire un test, i seguenti parametri sono obbligatori o facoltativi:

policyArn(richiesto)

Il nome della risorsa Amazon (ARN) della policy di ragionamento automatico.

buildWorkdflowId(richiesto)

L'identificatore univoco del flusso di lavoro di compilazione rispetto al quale desideri eseguire i test. Puoi recuperare il flusso di lavoro di compilazione più recente utilizzando l'azione ListAutomatedReasoningPolicyBuildWorkflows API.

testCaseIds (facoltativo)

L'elenco degli identificatori di test da eseguire. Se non viene fornito, vengono eseguiti tutti i test per la policy.

Recuperare i risultati del test

Per recuperare i risultati di un test, utilizza i seguenti parametri con l'azione GetAutomatedReasoningPolicyTestResult API:

policyArn(obbligatorio)

Il nome della risorsa Amazon (ARN) della policy di ragionamento automatico.

buildWorkflowId(richiesto)

L’identificatore del flusso di lavoro di compilazione. Per recuperare i risultati, il flusso di lavoro di compilazione deve visualizzare uno stato COMPLETED.

testCaseId(richiesto)

L’identificatore univoco del test per cui recuperare i risultati.

Esempio

L’esempio seguente mostra come eseguire un test e recuperare i risultati utilizzando la AWS CLI:

# Run the test
aws bedrock start-automated-reasoning-policy-test-workflow \
  --policy-arn "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk" \
  --build-worflow-id d40fa7fc-351e-47d8-a338-53e4b3b1c690

# Get the test results
aws bedrock get-automated-reasoning-policy-test-result \
  --policy-arn "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk" \
  --build-worflow-id d40fa7fc-351e-47d8-a338-53e4b3b1c690 \ 
  --test-case-id test-12345abcde

La risposta includerà risultati dettagliati del test con esiti della convalida e stato di esecuzione.