Abordar las pruebas de política de razonamiento automatizado fallidas - Amazon Bedrock
Comprensión de las anotacionesCuando es imposible proporcionar orientaciónEl razonamiento automatizado no entiende el documento fuenteLas reglas de tu política de razonamiento automatizado son incorrectasPolítica de razonamiento automatizado: devoluciones TRANSLATION_AMBIGUOUS

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Abordar las pruebas de política de razonamiento automatizado fallidas

Si no se aprueba una prueba de tu política de razonamiento automatizado, revisa la lógica y las reglas extraídas en los resultados de la prueba. Existen varias formas de abordar el error en función del problema:

nota

Vídeo tutorial: Para ver un step-by-step tutorial sobre cómo perfeccionar y solucionar problemas de una política de razonamiento automatizado, consulte el siguiente tutorial:

Demostración del tutorial 3: Perfeccionamiento de la política de razonamiento automatizado

Comprensión de las anotaciones

Las anotaciones son correcciones que se aplican para reparar la política cuando las pruebas fallan. Si una prueba no arroja el resultado esperado, puede modificar las condiciones de la prueba, volver a ejecutarla y aplicar la modificación correcta como una anotación para actualizar la política.

Usa las anotaciones para:

  • Corregir reglas incorrectas

  • Añada las variables que faltan

  • Mejore las descripciones de las variables

  • Resuelva las ambigüedades de traducción

Ejemplo: anotación de reparación de políticas

Problema: licencia aprobada por la política para un empleado con 8 meses en el cargo, pero el documento fuente requiere más de 1 año.

Regla original:

if is_full_time = true, then eligible_for_parental_leave = true

Anotación aplicada:

  1. years_of_serviceVariable agregada (tipo real)

  2. Se actualizó la regla para: if is_full_time = true and years_of_service >= 1.0, then eligible_for_parental_leave = true

  3. La prueba ahora es correcta y devuelve NO VÁLIDA para un empleado de 8 meses

  • Actualice las condiciones de la prueba fallida y vuelva a ejecutarla. Si la prueba arroja el resultado de validación esperado, puede aplicar esta anotación para actualizar su política.

  • Actualice los nombres o las descripciones de las variables de su política para ayudar a Automated Reasoning a distinguirlas, ya que traduce el lenguaje natural en lógica.

  • Actualiza las normas de tu política si crees que Automated Reasoning malinterpretó tu documento fuente o que tu documento fuente contiene errores.

  • Edita la lógica de tu política añadiendo variables y tipos. A continuación, puede actualizar las reglas para usar las nuevas variables. Se trata de un caso de uso avanzado que normalmente no recomendamos.

  • Recrea tu política con instrucciones más completas. Las instrucciones deben incluir suficiente contexto para que el razonamiento automatizado pueda extraer la lógica que sea relevante para el uso que se le dará a la aplicación. También te recomendamos incluir ejemplos de preguntas y respuestas que esperes que te formulen en relación con el documento fuente.

Cuando es imposible proporcionar orientación

En algunos casos, el razonamiento automatizado puede indicar que es imposible proporcionar orientación para una prueba fallida. Esto suele ocurrir cuando hay problemas fundamentales en la estructura de la política que impiden un análisis claro. Cuando esto suceda, debe inspeccionar las reglas de su política y buscar conflictos.

Entre los escenarios más comunes en los que no se puede proporcionar orientación se incluyen los siguientes:

  • Reglas contradictorias: su política contiene reglas contradictorias que crean incoherencias lógicas. Por ejemplo, una regla puede establecer que los empleados a tiempo completo tienen derecho a licencia, mientras que otra establece que los empleados con menos de un año de servicio no son elegibles, sin especificar cómo tratar a los empleados a tiempo completo con menos de un año de servicio.

  • Cobertura incompleta de las normas: tu póliza presenta lagunas debido a que determinadas combinaciones de condiciones no están contempladas en ninguna norma, lo que hace imposible determinar el resultado correcto.

  • Dependencias circulares: reglas que dependen unas de otras de manera que crean bucles lógicos e impiden que el sistema llegue a una conclusión definitiva.

  • Interacciones entre reglas demasiado complejas: cuando varias reglas interactúan de manera que generan resultados ambiguos o contradictorios en escenarios de prueba específicos.

Para abordar estos problemas:

  1. Revise las reglas de su política de manera sistemática: revise cada regla de su política e identifique las que puedan entrar en conflicto con otras. Busca reglas que puedan aplicarse al mismo escenario pero que produzcan resultados diferentes.

  2. Comprueba que las reglas estén completas: asegúrate de que tus reglas cubran todas las combinaciones posibles de condiciones que puedan darse en tu dominio. Identifica las brechas en las que no se aplique ninguna regla.

  3. Simplifique las interacciones complejas: si tiene muchas reglas interconectadas, considere la posibilidad de dividirlas en reglas más simples y específicas que sean más fáciles de entender y validar.

  4. Pruebe los casos límite: cree pruebas adicionales que se centren específicamente en las condiciones límite y los casos límite de su política para identificar dónde pueden existir conflictos o brechas.

  5. Considere la posibilidad de reestructurar las políticas: si los conflictos persisten, es posible que deba reestructurar su política con jerarquías de reglas u órdenes de prioridad más claros para resolver las ambigüedades.

Cuando te encuentras con esta situación, suele ser útil empezar con una versión más sencilla de la política y ir añadiendo complejidad de forma gradual y, al mismo tiempo, realizando pruebas en cada paso para identificar dónde se introducen los conflictos.

Los siguientes ejemplos son los motivos más comunes por los que una prueba puede fallar y cómo abordarlos.

El razonamiento automatizado no entiende el documento fuente

Causa habitual

Es posible que el razonamiento automatizado no haya extraído todas las variables necesarias del documento fuente o que las descripciones de las variables no sean lo suficientemente claras como para traducirlas correctamente del lenguaje natural a la lógica formal.

Resolución

  1. Revisa la lista de variables de la pantalla de definición para comprobar que tu póliza incluye todas las variables necesarias para extraer afirmaciones fácticas de tu pregunta y respuesta.

  2. Si falta una variable obligatoria:

    1. Elija Añadir para crear una nueva variable.

    2. Seleccione el tipo adecuado (bool, int, real o enum).

    3. Escriba una descripción de la variable clara y completa.

  3. Si existe una variable pero no se asignó correctamente durante la validación de preguntas y respuestas, mejora su descripción para ayudar a Automated Reasoning a traducir mejor el lenguaje natural. Por ejemplo:

    Descripción original (demasiado limitada): «Empleados que trabajan más de 20 horas a la semana».

    Descripción mejorada: «Los empleados que trabajan más de 20 horas a la semana se consideran a tiempo completo. Establezca este valor en verdadero cuando los usuarios mencionen que trabajan «a tiempo completo» o a jornada completa, y en falso cuando mencionen que trabajan «a tiempo parcial» o en horario reducido».

Las reglas de tu política de razonamiento automatizado son incorrectas

Causa habitual

Es posible que Automated Reasoning haya malinterpretado tu documento fuente o que este contenga errores o incoherencias.

Resolución

  1. Si el resultado de la validación cita una regla incorrecta, edítela. Lo más probable es que lo notes primero porque una prueba ha VALID resultado tal y como esperabasINVALID.

  2. Al hacer referencia a las variables de la regla, utilice el nombre completo de la variable que se especifica en la sección Definiciones de la política. Por ejemplo, deletree. is_full_time Si esperaba que la entrada de preguntas y respuestas coincidiera con una regla específica, compruebe primero que las variables de la entrada de preguntas y respuestas sean correctas. Si es así, es posible que tengas que añadir una nueva regla.

  3. Utilice el botón Añadir situado en la parte superior derecha de la lista de reglas para introducir una nueva regla. Utilice un lenguaje natural para especificar la regla. Especifique primero las restricciones y haga referencia a las variables por su nombre completo. Por ejemplo, en el caso de una regla que solo permita a los empleados a tiempo completo tomarse una excedencia, el texto podría ser algo así como: «Si es empleadois_full_time, se le permite tomarse una excedencia remunerada (LoAP)».

Política de razonamiento automatizado: devoluciones TRANSLATION_AMBIGUOUS

Causas habituales

Si su política es válidaTRANSLATION_AMBIGUOUS, esto indica que el razonamiento automatizado detectó ambigüedades al traducir el lenguaje natural a la lógica formal. Esto ocurre cuando el sistema no puede determinar de forma definitiva cómo asignar los conceptos del lenguaje natural a las variables y reglas de la lógica formal de su política.

La ambigüedad de la traducción puede deberse a varias causas subyacentes:

  • Definiciones de variables superpuestas: cuando varias variables de su póliza podrían representar razonablemente el mismo concepto mencionado en lenguaje natural, el sistema no podrá determinar qué variable utilizar. Por ejemplo, si tiene ambas employee_tenure_years y years_of_service variables con descripciones similares, es posible que el sistema tenga dificultades para determinar cuál usar cuando un usuario pregunte «cuánto tiempo ha trabajado alguien en la empresa». Esto crea ambigüedad en el proceso de traducción y puede dar lugar a resultados incoherentes.

  • Descripciones de variables incompletas: las descripciones de variables carecen de detalles suficientes sobre cómo los usuarios podrían referirse a los conceptos en el lenguaje cotidiano, lo que dificulta la asignación de las entradas de los usuarios a la representación lógica formal correcta.

  • Introducción ambigua en lenguaje natural: las preguntas del usuario o las modelan con respuestas que contienen afirmaciones vagas, contradictorias o multiinterpretables que no pueden traducirse claramente a una lógica formal.

  • Falta información contextual: cuando el lenguaje natural hace referencia a conceptos que existen en su dominio pero que no están adecuadamente representados en el esquema de variables de su política.

  • Terminología incoherente: cuando se hace referencia al mismo concepto, se utilizan términos diferentes en el documento fuente, descripciones variables e interacciones con los usuarios, lo que crea confusión durante la traducción.

Entender estas causas puede ayudarle a solucionar problemas en sus pruebas y a determinar qué cambios debe realizar en su política. En algunos casos, es posible que tengas que ajustar la configuración del nivel de confianza de tu política para lograr un mejor equilibrio entre la precisión estricta y la usabilidad práctica en tu caso de uso específico.

Resolución

Existen varias formas de corregir este problema en función del problema subyacente:

  • Las descripciones de las variables son demasiado similares: cuando dos variables tienen nombres o descripciones similares, es posible que el proceso de traducción elija entre ellos de forma incoherente. Por ejemplo, si tiene ambas full_time_status variables is_full_time y variables con descripciones similares, es posible que el sistema no asigne de forma coherente el lenguaje natural relativo a la situación laboral a la variable correcta. Revise las descripciones de las variables para que cada una tenga finalidades y contextos claramente diferenciados. Considere la posibilidad de consolidar los conceptos duplicados en una sola variable o de asegurarse de que cada variable tenga un propósito distinto con descripciones claras y que no se superpongan y que especifiquen exactamente cuándo debe usarse cada una de ellas.

  • Contexto variable insuficiente: es posible que las descripciones de las variables no cubran adecuadamente la forma en que los usuarios pueden referirse a los conceptos de su dominio. Actualice las descripciones de las variables con el nivel de contexto adecuado.

  • Formato de valores incoherente: se puede producir ambigüedad en la traducción cuando el sistema no está seguro de cómo dar formato a los valores (como números o fechas). Actualice las descripciones de las variables para aclarar los formatos esperados.

  • Entrada ambigua: si el texto introducido contiene afirmaciones ambiguas, revíselas para que sean más precisas.

Puede utilizar una de las siguientes instrucciones para corregir los problemas de ambigüedad en la traducción:

Ambigüedad sin fuente
You are an expert in revising answers to questions based on logical disagreements found in the answers.
Given a domain, a question, an original answer, and logical ambiguities suggested from scearios, your task is to revise the original answer to address and resolve the logical ambiguities identified above. The revised answer should remove any ambiguities, such that one can clearly judge whether each scenario is consistent or inconsistent with the answer. The revised answer should have approximately the same length as the original answer. Avoid extending the answer with your own background knowledge.
Below is an example.
DOMAIN: DiscountPolicy
QUESTION: I want to buy tickets for next Thursday. How many people are needed to qualify for your group discount?
ORIGINAL ANSWER: You need at least 10 people to get the group discount.
LOGICAL AMBIGUITIES FOUND: disagree_scenario1: ['(= group_size 12)', '(= advanced_booking false)', '(= group_discount true)']
(Analysis: The scenario says the group size is 12, there is no advanced booking and group discount is true. Is this consistent with the answer? Well, the original answer does not mention advanced booking. Maybe the answer assumed advanced booking from the question "I want to buy tickets for next Thursday", but that's debatable. The revised answer should make it clear.)
REVISED ANSWER: You need at least 10 people and need to book in advance to get the group discount.
(Note: Scenarios are illustrative cases highlighting potential ambiguities. Do not overfit in your revised answer. In the example above, you should use the original "You need at least 10 people..." rather than the scenario-specific "If you have 12 people...")
Now complete the following task and return the revised answer. (Just return the answer. Do not return any analysis or notes)
DOMAIN: {domain}
QUESTION: {question}
ORIGINAL ANSWER: {original_answer}
LOGICAL AMBIGUITIES FOUND: It is unclear if the following scenarios are valid or not according to the answer. {disagreement_text}
REVISED ANSWER:
Ambigüedad con la fuente
You are an expert in revising answers to questions based on logical disagreements found in the answers.
Given a domain, a question, an original answer, a piece of policy source text, and logical ambiguities suggested from scearios, your task is to revise the original answer to address and resolve the logical ambiguities identified above. The revised answer should remove any ambiguities, such that one can clearly judge whether each scenario is consistent or inconsistent with the answer. The revised answer should have approximately the same length as the original answer. Avoid extending the answer with your own background knowledge. The revised answer should be consistent with the actual policy from the source text.
Below is an example.
DOMAIN: DiscountPolicy
QUESTION: I want to buy tickets for next Thursday. How many people are needed to qualify for your group discount?
ORIGINAL ANSWER: You need at least 10 people to get the group discount.
POLICY SOURCE TEXT: ... We offer discounts to students, seniors, and large groups. Students must present a valid ID ... A group of ten or more people are qualified for a group discount. Group discount tickets must be booked in advance. Each group ticket is 20% off the regular ticket price ...
LOGICAL AMBIGUITIES FOUND: disagree_scenario1: ['(= group_size 12)', '(= advanced_booking false)', '(= group_discount true)']
(Analysis: The scenario says the group size is 12, there is no advanced booking and group discount is true. Is this consistent with the answer? Well, the original answer does not mention advanced booking. Maybe the answer assumed advanced booking from the question "I want to buy tickets for next Thursday", but that's debatable. The revised answer should make it clear.)
REVISED ANSWER: You need at least 10 people and need to book in advance to get the group discount.
(Note: Scenarios are illustrative cases highlighting potential ambiguities. Do not overfit in your revised answer. In the example above, you should use the original "You need at least 10 people..." rather than the scenario-specific "If you have 12 people...")
Now complete the following task and return the revised answer. (Just return the answer. Do not return any analysis or notes)
DOMAIN: {domain}
QUESTION: {question}
ORIGINAL ANSWER: {original_answer}
POLICY SOURCE TEXT: {policy_source_text}
LOGICAL DISAGREEMENTS FOUND: It is unclear if the following scenarios are valid or not according to the answer. {disagreement_text}
REVISED ANSWER: