Amazon Bedrock Guardrails에 자동 추론 검사를 추가하여 정확도 향상 - Amazon Bedrock
제한 사항 및 고려 사항모범 사례요금정책 작업에 대한 교차 리전 추론

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Bedrock Guardrails에 자동 추론 검사를 추가하여 정확도 향상

Amazon Bedrock Guardrails의 자동 추론 검사는 정의된 정책과 비교하여 자연어 콘텐츠를 수학적으로 확인하여 가드레일을 엄격하게 준수합니다. 이러한 검사는 사용자에게 도달하기 전에 유해하거나 규정을 준수하지 않는 콘텐츠를 체계적으로 차단하는 데 도움이 될 수 있습니다. 패턴 일치 접근 방식과 달리 자동 추론은 특히 복잡한 정책 요구 사항에 대해 더 적은 오탐으로 더 높은 정확도를 제공합니다. 정밀도를 우선시하는 고객의 경우 정책 규칙을 사용자 지정하여 명확한 로직 문을 통해 가드레일 효과를 향상시킬 수 있습니다.

대규모 언어 모델(LLMs)의 주요 과제는 응답의 정확성을 보장하는 것입니다. 검증이 없으면 LLMs 신뢰를 약화시키는 할루시네이션이나 부정확한 정보를 생성하는 경우가 있습니다.

Amazon Bedrock Guardrails의 자동 추론 검사는 수학 기술을 사용하여 다음을 수행하여이 문제를 해결합니다.

  • LLM 응답에서 할루시네이션 감지

  • 설명되지 않은 가정 강조

  • 정확한 문이 올바른 이유에 대한 설명 제공

이 기능은 다음과 같은 LLM의 응답에 대한 사실적 기반을 입증해야 할 때 특히 유용합니다.

  • 의료 및 인적 자원과 같은 규제 대상 산업

  • 복잡한 규칙이 있는 애플리케이션(모기지 승인, 영역 지정 법률)

  • 감사 가능한 AI 응답이 필요한 규정 준수 시나리오

Amazon Bedrock Guardrails의 자동 추론 검사는 즉각적인 주입 공격으로부터 보호하지 않습니다. 이러한 검사는 전송한 내용을 정확히 검증합니다. 악성 또는 조작된 콘텐츠가 입력으로 제공되는 경우 해당 콘텐츠에 대해 있는 그대로 검증이 수행됩니다(가비지 입력, 가비지 출력). 프롬프트 주입 공격을 탐지하고 차단하려면 콘텐츠 필터를 자동 추론 검사와 함께 사용합니다.

자동 추론은 자동 추론 정책과 관련된 텍스트만 분석하고 감지합니다. 콘텐츠의 나머지 부분은 무시하며 답변이 주제와 다른지 여부를 개발자에게 알릴 수 없습니다. 비주제 응답을 감지해야 하는 경우 주제 정책과 같은 다른 가드레일 구성 요소를 사용합니다.

참고

Amazon Bedrock Guardrails의 자동 추론 검사는 일반적으로 미국(버지니아 북부, 오레곤, 오하이오) 및 EU(프랑크푸르트, 파리, 아일랜드) 리전에서 사용할 수 있습니다.

참고

Amazon Bedrock Guardrails의 자동 추론 검사는 콘텐츠 필터 및 주제 정책과 같은 다른 Amazon Bedrock Guardrails 기능을 보완합니다. 자세한 내용은 가드레일 구성 요소를 참조하세요.

CloudFormation은 현재 지원되지 않습니다. CloudFormation 지원이 곧 제공될 예정입니다.

Amazon Bedrock Guardrails의 자동 추론 검사는 현재 영어(미국)만 지원합니다.

Amazon Bedrock Guardrails의 자동 추론 검사는 스트리밍 APIs 지원하지 않습니다.

제한 사항 및 고려 사항

자동 추론 검사를 구현하기 전에 다음과 같은 중요한 제한 사항에 유의하세요.

  • 문서 복잡성: 소스 문서는 명확하고 모호하지 않은 규칙으로 잘 구성되어야 합니다. 중첩 조건 또는 모순되는 문이 있는 매우 복잡한 문서는 공식 로직으로 완전히 추출되지 않을 수 있습니다.

  • 처리 시간: 자동 추론 검증은 애플리케이션 응답에 지연 시간을 추가합니다. 특히 규칙이 많은 복잡한 정책의 경우 추가 처리 시간을 계획합니다.

  • 정책 범위: 각 정책은 단일 정책에서 관련 없는 여러 영역을 다루려고 하지 않고 특정 도메인(예: HR, 재무, 법률)에 초점을 맞춰야 합니다.

  • 변수 제한: 변수 수가 많거나 규칙 상호 작용이 지나치게 복잡한 정책은 처리 제한에 도달하거나 TOO_COMPLEX 결과를 반환할 수 있습니다.

  • 자연어 종속성: 검증의 정확도는 사용자 프롬프트 및 모델 응답의 자연어를 정책의 공식 로직 변수로 변환할 수 있는 정도에 따라 크게 달라집니다.

모범 사례

자동 추론 정책의 효과를 극대화하려면 다음 모범 사례를 따르세요.

  • 간단한 시작: 핵심 규칙을 다루는 집중적인 정책으로 시작한 다음 점진적으로 복잡성을 추가합니다. 각 단계에서 철저하게 테스트합니다.

  • 포괄적인 변수 설명 작성: 사용자가 소스 문서의 기술적 정의뿐만 아니라 개념을 자연스럽게 참조하는 방법을 포함합니다.

  • 엣지 케이스 테스트: 사용자가 직면할 수 있는 경계 조건, 예외 및 비정상적인 시나리오를 구체적으로 대상으로 하는 테스트를 생성합니다.

  • 신뢰도 임계값 모니터링: 더 높은 신뢰도 임계값(0.8~0.9)으로 시작하고 거짓 긍정과 거짓 부정에 대한 허용 오차에 따라 조정합니다.

  • 정기적인 정책 유지 관리: 비즈니스 규칙이 변경되거나 테스트 및 프로덕션 사용을 통해 격차를 식별할 때 정책을 검토하고 업데이트합니다.

  • 주석 문서화: 향후 참조 및 팀 지식 공유를 위해 정책 수정 사항과 그 근거를 추적합니다.

요금

Amazon Bedrock Guardrails의 자동 추론 검사는 처리된 검증 요청 수에 따라 요금이 부과됩니다. 현재 요금 정보는 Amazon Bedrock 요금 페이지를 참조하세요.

결과에 관계없이 각 검증 요청에 대해 요금이 발생합니다(예: VALID, INVALID, TRANSLATION_AMBIGUOUS). 비용을 최적화하려면:

  • 적절한 신뢰도 임계값을 사용하여 정확도와 처리 요구 사항의 균형을 맞춥니다.

  • 사용 사례에 적합한 경우 동일하거나 유사한 쿼리에 대한 캐싱 검증 결과 고려

  • 사용량 패턴을 모니터링하고 정책을 조정하여 불필요한 검증 요청을 줄입니다.

정책 작업에 대한 교차 리전 추론

자동 추론은 교차 리전 추론을 활용하여 정책 생성 및 테스트 작업의 성능과 가용성을 최적화합니다. 특정 API 작업은 안정적인 서비스 제공을 보장하기 위해 지리적 경계 내의 AWS 리전 간에 처리를 자동으로 분산합니다.

다음 자동 추론 API 작업은 교차 리전 추론을 사용합니다.

  • StartAutomatedReasoningPolicyBuildWorkflow - 소스 문서에서 정책 생성 및 컴파일 중에 호출됩니다.

  • StartAutomatedReasoningPolicyTestWorkflow - 정책 검증 및 테스트 절차 중에 호출됩니다.

이러한 작업은 대규모 언어 모델을 호출하여 소스 문서에서 공식 로직 규칙을 추출하고 자연어 구문을 구조화된 논리적 표현으로 변환합니다. 최적의 성능과 가용성을 보장하기 위해 요청 처리는 다음 지리적 라우팅에 따라 배포됩니다.

  • 미국 리전: 미국 동부(버지니아 북부), 미국 서부(오레곤) 또는 미국 동부(오하이오)에서 시작된 API 요청은 지원되는 모든 미국 리전에서 처리될 수 있습니다.

  • 유럽 연합 리전: EU(프랑크푸르트), EU(파리) 또는 EU(아일랜드)에서 시작된 API 요청은 지원되는 모든 EU 리전에서 처리될 수 있습니다.

중요

고객 데이터는 원래 지리적 경계(미국 또는 유럽 연합) 내에 유지되며 AWS 데이터 레지던시 약정에 따라 처리됩니다. 교차 리전 추론은 성능 및 서비스 가용성을 최적화하기 위해 동일한 지리적 리전 내에서만 요청을 라우팅합니다.

교차 리전 추론은 고객 구성 없이 투명하게 작동합니다. API 기능은 요청을 처리하는 특정 리전에 관계없이 일관성을 유지합니다.

Amazon Bedrock Guardrails에서 자동 추론 검사를 사용하려면 다음 단계를 따르세요.

  1. 적용하려는 규칙이 포함된 소스 문서 업로드

  2. 자동으로 식별된 개념 및 규칙을 사용하여 추출된 정책 검토

  3. 정책이 올바르게 작동하는지 테스트하고 구체화합니다.

  4. 정책을 배포하여 파운데이션 모델의 응답을 검증합니다.

워크플로는 다음과 같이 시각화할 수 있습니다.


Source Document → Extracted Policy → Testing → Deployment → Runtime Validation
    (rules)        (formal logic)    (verify)   (activate)    (check responses)

정책

자동 추론 정책은 소스 문서에서 자동으로 추출되는 로직 규칙과 변수를 포함하는 정확도 검증의 기반입니다. 이러한 정책은 비즈니스 규칙을 수학적으로 표현하여 파운데이션 모델 응답이 정의된 제약 조건을 준수하는지 체계적으로 검증할 수 있습니다. 애플리케이션에서 자동 추론 검사를 수행하려면 특정 도메인 및 검증 요구 사항과 일치하는 정책을 사용하도록 가드레일을 구성합니다.

규칙

규칙은 자동 추론이 소스 문서에서 추출하는 로직입니다. 이는 if-then 문으로 작성될 수 있습니다. 다음은 규칙 형식의 몇 가지 예입니다.

if <premise>, then <claim>

<premise> is true

참고

중요: 만약-그렇다면 형식이 아닌 규칙은 세계에 대한 축자를 배치하여 의도하지 않은 결과를 초래할 수 있습니다. 예를 들어 규칙이 단순히를 명시accountBalance > 5하는 경우 검증을 위한 콘텐츠에 관계없이 계정 잔액이 5 이하가 되는 것은 불가능합니다. 규칙으로 인해 해당 조건이 존재하는 것이 논리적으로 불가능합니다. 이로 인해 규칙에 의해 설정된 액시옴과 모순되므로 콘텐츠에 규정 미준수 플래그가 잘못 지정되는 예기치 않은 검증 결과가 발생할 수 있습니다. 이를 방지하려면 규칙을 절대 제약 조건이 아닌 관계를 설명하는 조건문(if-then 형식)으로 구성합니다.

변수

변수는 자연어를 공식 로직으로 변환할 때 값이 할당될 수 있는 자동 추론 정책의 개념을 나타냅니다. 정책 규칙은 이러한 변수에 대해 유효한 값 또는 유효하지 않은 값에 대한 제약 조건을 정의합니다.

변수에는 이름, 유형 및 설명이 있습니다. 예를 들어 직원 수당에 대한 정책에는 이름이 "employee_age", 유형이 "integer", 설명이 "The age of the employee in years"인 변수가 있을 수 있습니다. 이 변수는 프롬프트의 자연어를 기반으로 애플리케이션에 25와 같은 값을 할당할 수 있습니다.

예를 들어 HR 정책의 is_full_time 변수에는 소스 문서의 직접 따옴표인 "주당 20시간 이상 근무하는 직원"이라는 설명이 있을 수 있습니다. 챗봇을 사용할 때 사용자는 "I'm full-time"이라고 말할 가능성이 높으며 "I work over 20 hours per week"라고 말할 가능성이 더 높습니다.

자연어에서 공식 로직으로의 번역 정확도는 변수 설명의 품질에 따라 크게 달라집니다. 번역이 완료되면 추론 프로세스가 들리지만 명확하고 포괄적인 변수 설명을 통해 사용자 프롬프트가 올바르게 해석됩니다. 완전한 변수 설명이 없으면 입력 자연어를 공식 로직 표현으로 변환할 수 NO_DATA 없기 때문에 자동 추론이를 반환할 수 있습니다.

이와 같은 시나리오를 고려하려면 변수 설명이 중요합니다. 포괄적인 변수 설명에는 "주당 20시간 이상 일하는 직원은 정규직입니다. 사용자는이 값을 true로 설정하려면 풀타임이라고 말하고, false로 설정하려면 파트타임이라고 말합니다.”

미리 정의된 변수 유형

다음 표에서는 정책에 포함할 수 있는 사전 정의된 변수 유형을 설명합니다.

유형 설명

bool

부울 변수는 true 또는 false일 수 있습니다. 예를 들어 휴가 정책에서는 bool 변수를 사용하여 휴가 허용 여부를 식별합니다.

int

숫자 int 변수는 양수 또는 음수 정수를 저장할 수 있습니다. 예를 들어 휴가 정책에서는 소수의 일수가 허용되지 않는 경우 int 변수를 사용하여 누적된 휴가 일수를 저장합니다.

실제

숫자 real 변수는 소수 정밀도가 필요한 양수 또는 음수를 저장할 수 있습니다. 예를 들어 휴가 정책에서는 real 변수를 사용하여 미사용 휴가에 대한 달러 결제 금액을 저장합니다.

enum

열거형 변수는 고정 옵션 세트에서 선택한 단일 값을 저장할 수 있습니다. 예를 들어 휴가 정책에서 열거형 변수를 사용하여 휴가 유형을 저장할 수 있습니다. (1) 유급 휴가, (2) 개인 시간, (3) 휴가

사전 정의된 변수 유형 이외의 추가 컨텍스트를 제공하는 사용자 정의 사용자 정의 열거형 유형을 생성할 수도 있습니다. 이러한 사용자 지정 유형을 사용하면 정책 도메인과 관련된 특정 값 세트를 정의할 수 있습니다.
주제