기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

고급 LLM 설정

Amazon Bedrock을 사용하는 동안 Amazon Bedrock 가드레일, Amazon Bedrock용 프로비저닝된 처리량, 추가 모델 파라미터와 같은 모델에 대한 일부 고급 설정을 구성할 수 있습니다.

Amazon Bedrock Guardrails

Amazon Bedrock Guardrails는 사용자 구성 정책에 따라 사용자 입력 및 LLM 응답을 평가하고 사용자가 사용 사례에 대해 선택하는 기본 LLM에 관계없이 추가 보호 계층을 제공하는 Amazon Bedrock의 기능입니다. 가드레일은 바람직하지 않거나 유해한 범주에 속하는 콘텐츠를 방지하기 위한 2가지 정책으로 구성됩니다.

생성형 AI Application Builder 솔루션에서 사용하려면 가드레일 생성 마법사를 사용하여 Amazon Bedrock 콘솔에서 가드레일을 구성해야 합니다. 생성되면 Guardrail 식별자 및 Guardrail 버전을 제공하여 모델 선택 단계의 추가 설정에서 생성형 AI Application Builder 솔루션 마법사를 통해 생성된 채팅 사용 사례에이 Guardrail을 추가할 수 있습니다.

Depicts Deployment Wizard - Amazon Bedrock Guardrails 활성화

Amazon Bedrock의 프로비저닝된 처리량

각 온디맨드 Amazon Bedrock 모델은 모델 추론에 대한 리전별 계정 할당량 제한을 따릅니다. 예를 들어 Bedrock의 Anthropic Claude 2.x는 현재 us-east-1 및 us-west-2 리전에서 분당 500개의 요청과 500,000개의 토큰을 처리할 수 있습니다. 미세 조정되거나 지속적인 사전 훈련된 모델과 함께 솔루션을 사용할 수도 있습니다. 이러한 인스턴스의 경우 Amazon Bedrock은 프로비저닝된 처리량을 허용하므로 프로덕션 등급 애플리케이션에서 사용할 수 있도록 기본, 미세 조정되거나 지속적인 사전 훈련된 모델에 대해 대규모의 일관된 추론 워크로드를 실행할 수 있습니다.

Amazon Bedrock 콘솔 내에서 프로비저닝된 처리량을 구매하면 사용할 모델 ARN이 생성됩니다. 이제 모델 선택 단계의 생성형 AI Application Builder 마법사에서이 모델 ARN을 제공할 수 있습니다. 이렇게 하려면 Bedrock을 모델 공급자로 선택하고 Amazon Bedrock 콘솔에서이 프로비저닝된 모델 ARN을 생성하는 데 사용된 기본 모델 이름을 선택합니다. 그런 다음 온디맨드 모델과 프로비저닝된 모델 중에서 선택할 때 '프로비저닝된 모델'을 선택하고 모델 ARN을 제공합니다.

Depicts Deployment Wizard - Amazon Bedrock에 프로비저닝된 처리량 활성화

모델 파라미터

LLMs 구현과 관련된 다양한 파라미터를 수락하는 경우가 많습니다. 모델 공급자는 지원되는 파라미터 세트와 그 용도를 설명하는 문서를 제공하는 경우가 많습니다.

솔루션은 모델 파라미터를 기본 모델로 직접 전달하므로 파라미터가 올바르게 설정되었는지 확인하는 것이 중요합니다. 지원되는 파라미터에 대한 최신 정보는 모델 공급자의 설명서를 참조하세요.