Prova una politica di ragionamento automatizzato - Amazon Bedrock
Crea un test manualmente nella consoleGenera test automaticamente nella consoleEsegui i test nella consoleCrea un test manualmente utilizzando l'APIGenera test automaticamente utilizzando l'APIEsegui i test utilizzando l'API

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Prova una politica di ragionamento automatizzato

Si testa una politica inviando istruzioni in linguaggio naturale o QnAs per la convalida, quindi si ispeziona Automated Reasoning e verifica il feedback per assicurarsi che stia traducendo il testo di input utilizzando le variabili corrette e che le regole in base alle quali esegue la convalida siano corrette.

È possibile creare test in due modi: definendo manualmente coppie question-and-answer (QnA) o generando automaticamente scenari di test. QnAs sono domande specifiche dell'utente con le corrispondenti risposte del modello che scrivi per testare casi d'uso particolari, mentre gli scenari di test sono situazioni logiche generate automaticamente dalle regole delle policy che possono essere realistiche o meno nel contesto dell'applicazione.

Nota

Video tutorial: per una guida step-by-step dettagliata sul test di una policy di ragionamento automatico, guarda il seguente tutorial:

Dimostrazione del tutorial 2 - Test della politica di ragionamento automatizzato

I test dovrebbero imitare le domande poste dagli utenti dell'applicazione e le risposte che potrebbero ottenere da un modello di base. Il ragionamento automatico valuta l'accuratezza della tempestività e della risposta rispetto alle regole della politica di ragionamento automatico. Il ragionamento automatico esegue questa convalida nei seguenti passaggi:

Suggerimento

Procedura ottimale: crea test che coprano scenari validi e non validi. Ad esempio, se la tua politica afferma che «I dipendenti hanno bisogno di 1 anno di servizio per il congedo parentale», crea test per le risposte che stabiliscono correttamente questa regola e test per le risposte che indicano erroneamente un requisito diverso.

  1. Utilizza la domanda e la risposta del test insieme alle variabili della policy e alle relative descrizioni per tradurre gli input del linguaggio naturale in logica formale.

  2. Convalida la logica tradotta rispetto alla policy utilizzando solide tecniche matematiche.

Nota

Il ragionamento automatizzato traduce il linguaggio naturale in logica utilizzando tecniche di intelligenza artificiale che non possono garantire una precisione perfetta. Tuttavia, dei buoni test aiuteranno a rilevare e correggere possibili imprecisioni nelle politiche di ragionamento automatizzato.

Crea un test manualmente nella console

  1. Vai alla policy di ragionamento automatico che desideri testare (ad esempio, MyHrPolicy).

  2. Scegli Visualizza test, quindi seleziona Aggiungi.

  3. Nella finestra di dialogo Aggiungi test, procedi come segue:

    1. Includi un input (opzionale) e un output. Questi rappresentano la domanda che un utente potrebbe porre e la risposta che il vostro modello di base potrebbe fornire, insieme formano una coppia QnA che verifica il modo in cui la vostra policy convalida le interazioni reali con gli utenti.

    2. Scegli il risultato che ti aspetti dal test (ad esempio Valido o Non valido).

    3. Seleziona una soglia di confidenza, che è il livello di confidenza minimo per la convalida logica.

  4. Seleziona Salva per creare il test.

Nota

Quando si crea un test, la soglia di confidenza è facoltativa.

  • Automated Reasoning Checks utilizza più modelli linguistici di grandi dimensioni (LLMs) per tradurre i test in linguaggio naturale in risultati. Restituisce solo risultati «sicuri» supportati da una percentuale significativa delle traduzioni LLM. La soglia di confidenza definisce la percentuale minima di supporto necessaria affinché una traduzione diventi un risultato valido.

  • Se ci sono uno o più risultati tradotti che non sono supportati da una percentuale sufficiente di traduzioni LLM, i controlli di ragionamento automatico mostreranno un risultato aggiuntivo «TRANSLATION_AMBIGUOUS». Questo risultato conterrà informazioni per evidenziare le differenze tra le traduzioni LLM in disaccordo.

Genera test automaticamente nella console

  1. Vai alla policy di ragionamento automatico che desideri testare (ad esempio, MyHrPolicy).

  2. Scegli Visualizza test, quindi seleziona Genera.

  3. Nella finestra di dialogo Genera scenari, esamina lo scenario generato e le regole correlate. Effettuare quindi una delle seguenti operazioni:

    • Se ritieni che lo scenario possa realizzarsi (noto anche come scenario soddisfacente), seleziona il pollice rivolto verso l'alto (sì).

    • In caso contrario, seleziona il pollice rivolto verso il basso (no). Puoi anche fornire un'annotazione per spiegare perché ritieni che lo scenario non sia possibile. È simile a lasciare un commento in un documento.

    • Se desideri testare uno scenario diverso, scegli Rigenera scenario.

    Suggerimento

    Se volete esaminare la versione logica formale dello scenario, attivate Show SMT-LIB.

  4. Seleziona Salva e chiudi per salvare il test o Salva e aggiungi un altro test.

  5. Se hai fornito annotazioni a uno qualsiasi dei test, scegli Applica annotazioni. Automated Reasoning apporterà modifiche alla tua politica in base al tuo feedback.

  6. Nella schermata Rivedi le modifiche alla politica, esamina le modifiche alle regole, alle variabili e ai tipi di variabili della politica. Quindi seleziona Accetta modifiche.

Esegui i test nella console

  1. Vai alla policy di ragionamento automatico che desideri convalidare (ad esempio, MyHrPolicy).

  2. Scegli Visualizza test.

  3. Esegui una di queste operazioni:

    • Per eseguire tutti i test previsti dalla tua politica, scegli Convalida tutti i test.

    • Per eseguire i test singolarmente, seleziona il pulsante Azione accanto al test che desideri eseguire e scegli Convalida.

Crea un test manualmente utilizzando l'API

Puoi utilizzare l'operazione CreateAutomatedReasoningPolicyTestCase API per creare un test per la tua policy di Automated Reasoning a livello di codice.

Parametri della richiesta

I seguenti parametri sono obbligatori o facoltativi durante la creazione di un test:

policyArn(obbligatorio)

L'Amazon Resource Name (ARN) della policy Automated Reasoning per cui creare il test.

guardContent(richiesto)

Il contenuto di output convalidato dalla politica di ragionamento automatico. Rappresenta la risposta del modello di base di cui verrà verificata l'accuratezza.

query (facoltativo)

La query o il prompt di input che ha generato il contenuto. Ciò fornisce il contesto per la convalida.

expectedAggregatedFindingsResult (facoltativo)

Il risultato di convalida previsto per il test (ad esempio, VALID oINVALID).

confidenceThreshold (facoltativo)

Il livello minimo di confidenza per la convalida logica. Il contenuto che soddisfa la soglia è considerato un risultato ad alta affidabilità che può essere convalidato.

Esempio

L'esempio seguente mostra come creare un test per una politica di ragionamento automatico utilizzando: AWS CLI

aws bedrock create-automated-reasoning-policy-test-case \
  --policy-arn "arn:aws:bedrock:us-west-2:123456789012:automated-reasoning-policy/k8m9n2p4q7r5" \
  --query-content "Can I take a leave of absence if I'm a part-time employee?" \
  --guard-content "No, only full-time employees are eligible for leave of absence." \
  --expected-aggregated-findings-result "VALID" \
  --confidence-threshold 0.8

Risposta di esempio:

{
  "testCaseId": "test-12345abcde",
  "policyArn": "arn:aws:bedrock:us-west-2:123456789012:automated-reasoning-policy/k8m9n2p4q7r5"
}

Genera test automaticamente utilizzando l'API

Puoi utilizzare l'operazione GenerateAutomatedReasoningPolicyTestScenarios API per generare automaticamente scenari di test in base alle regole della tua politica.

Parametri della richiesta

I seguenti parametri sono obbligatori o facoltativi per la generazione di scenari di test:

policyArn(obbligatorio)

L'Amazon Resource Name (ARN) della policy Automated Reasoning per la quale generare scenari di test.

maxResults (facoltativo)

Il numero massimo di scenari di test da generare.

Esempio

L'esempio seguente mostra come generare scenari di test per una politica di ragionamento automatico utilizzando: AWS CLI

aws bedrock generate-automated-reasoning-policy-test-scenarios \
  --policy-arn "arn:aws:bedrock:us-west-2:123456789012:automated-reasoning-policy/k8m9n2p4q7r5" \
  --max-results 3

La risposta includerà scenari di test generati che è possibile esaminare e utilizzare per creare test.

Esegui i test utilizzando l'API

Puoi utilizzare l'operazione ValidateAutomatedReasoningPolicyTest API per eseguire un test per la tua politica di ragionamento automatico e l'GetAutomatedReasoningPolicyTestResultoperazione per recuperare i risultati.

Parametri della richiesta

I seguenti parametri sono necessari per l'esecuzione di un test:

policyArn(richiesto)

L'Amazon Resource Name (ARN) della policy Automated Reasoning.

testCaseId(richiesto)

L'identificatore univoco del test da eseguire.

Ottieni i risultati del test

Per recuperare i risultati di un test, utilizzate i seguenti parametri:

policyArn(richiesto)

L'Amazon Resource Name (ARN) della policy Automated Reasoning.

buildWorkflowId(richiesto)

L'identificatore del flusso di lavoro di compilazione. Il flusso di lavoro di compilazione deve visualizzare uno COMPLETED stato per ottenere risultati.

testCaseId(obbligatorio)

L'identificatore univoco del test per il quale recuperare i risultati.

Esempio

L'esempio seguente mostra come eseguire un test e recuperare i risultati utilizzando: AWS CLI

# Run the test
aws bedrock validate-automated-reasoning-policy-test \
  --policy-arn "arn:aws:bedrock:us-west-2:123456789012:automated-reasoning-policy/k8m9n2p4q7r5" \
  --test-case-id "test-12345abcde"

# Get the test results
aws bedrock get-automated-reasoning-policy-test-result \
  --policy-arn "arn:aws:bedrock:us-west-2:123456789012:automated-reasoning-policy/k8m9n2p4q7r5" \
  --build-workflow-id "workflow-67890fghij" \
  --test-case-id "test-12345abcde"

La risposta includerà risultati dettagliati del test con risultati di convalida e stato di esecuzione.