지연 시간에 대한 모델 추론 최적화

의 파운데이션 모델에 대한 지연 시간 최적화 추론은 AI 애플리케이션에 더 빠른 응답 시간과 향상된 응답성을 Amazon Bedrock 제공합니다. 최적화된 버전의 Amazon Nova Pro, Anthropic의 Claude 3.5 Haiku 모델 및 Meta의 Llama 3.1 405B 및 70B 모델은 정확도를 손상시키지 않고 지연 시간을 크게 단축합니다.

지연 시간 최적화 기능에 액세스하려면 추가 설정이나 모델 미세 조정이 필요하지 않으므로 응답 시간이 빨라진 기존 애플리케이션을 즉시 개선할 수 있습니다. Amazon Bedrock 런타임 API를 호출하는 동안 “지연 시간” 파라미터를 “최적화됨”으로 설정할 수 있습니다. 호출 옵션으로 "표준"을 선택하면 요청이 표준 추론으로 처리됩니다. 기본적으로 모든 요청은 "표준"을 통해 로 라우팅됩니다.

"performanceConfig" : {
    "latency" : "standard | optimized" 
}

모델의 지연 시간 최적화를 위한 사용량 할당량에 도달하면 표준 지연 시간으로 요청을 처리하려고 시도합니다. 이 경우 요청에 표준 지연 시간 요금이 부과됩니다. 제공된 요청에 대한 지연 시간 구성은 API 응답 및 AWS CloudTrail 로그에 표시됩니다. "model-id+latency-optimized"에서 Amazon CloudWatch 로그의 지연 시간 최적화 요청에 대한 지표를 볼 수도 있습니다.

지연 시간 최적화 추론은 교차 리전 추론을 통해 미국 동부(오하이오) 및 미국 서부(오레곤) 리전에서 Meta의 Llama 3.1 70B 및 405B와 Anthropic의 Claude 3.5 Haiku에 사용할 수 있습니다.

지연 시간 최적화 추론은 리전 간 추론을 통해 미국 동부(버지니아 북부), 미국 동부(오하이오) 및 미국 서부(오레곤) 리전Amazon Nova Pro에서 사용할 수 있습니다.

요금에 대한 자세한 내용은 요금 페이지를 참조하십시오.