기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
CloudWatch 지표를 사용하여 bedrock-runtime 추론 모니터링
Amazon Bedrock bedrock-runtime. 엔드포인트는 region.amazonaws.com.rproxy.govskope.caAWS/Bedrock 네임스페이스 아래의 Amazon CloudWatch에 지표를 게시합니다. 이러한 지표를 사용하여 호출 볼륨, 지연 시간, 토큰 소비, 오류율 및 모델 호출 로깅 전송을 모니터링할 수 있습니다.
애플리케이션이를 통해 추론을 호출하는 경우 CloudWatch 지표를 사용하여 bedrock-mantle 추론 모니터링 대신 단원을 bedrock-mantle.참조하십시오.region.api.aws
Amazon Bedrock 런타임 지표
아래 표에서는 Amazon Bedrock에서 제공하는 런타임 지표를 설명합니다.
| 지표 이름 | 단위 | 설명 |
|---|---|---|
| Invocations | SampleCount | Converse, ConverseStream, InvokeModel, InvokeModelWithResponseStream API 작업에 성공한 요청의 수입니다. |
|
InvocationLatency |
MilliSeconds |
요청이 전송된 시점부터 마지막 토큰이 수신된 시점까지의 시간입니다. 서비스 측 처리량 변경으로 인한 지연 시간 증가와 더 긴 모델 응답으로 인한 지연 시간 증가를 구분하려면 섹션을 참조하세요초당 출력 토큰(OTPS)을 사용하여 InvocationLatency 증가 진단. |
|
InvocationClientErrors |
SampleCount |
클라이언트 측 오류가 발생하는 호출 수. |
|
InvocationServerErrors |
SampleCount |
AWS 서버 측 오류가 발생하는 호출 수입니다. |
|
InvocationThrottles |
SampleCount |
시스템이 제한된 호출 수. 스로틀링한 요청 및 기타 간접 호출 오류는 간접 호출 또는 오류로 간주되지 않습니다. 표시되는 스로틀 수는 SDK의 재시도 설정에 따라 달라집니다. 자세한 내용은 SDK 및 도구 참조 안내서의 재시도 동작을 참조하세요. AWS SDKs |
|
InputTokenCount |
SampleCount |
입력의 토큰 수입니다. |
| LegacyModelInvocations | SampleCount | 레거시 모델을 사용한 간접 호출 수 |
|
OutputTokenCount |
SampleCount |
출력의 토큰 수입니다. |
|
OutputImageCount |
SampleCount |
출력의 이미지 수입니다(이미지 생성 모델에만 해당). |
|
TimeToFirstToken |
MilliSeconds |
ConverseStream 및 InvokeModelWithResponseStream 스트리밍 API 작업에 대한 요청이 로 전송된 시점부터 첫 번째 토큰이 수신된 시점까지의 시간입니다. |
|
EstimatedTPMQuotaUsage |
SampleCount |
Converse, ConverseStream, InvokeModel 및 InvokeModelWithResponseStream API 작업 전반의 분당 예상 토큰 수(TPM) 할당량 소비입니다. 이 지표는 근사치이며 제한 결정을 유도하는 예약 기반 토큰 소비를 반영하지 않습니다. 제한은 입력 토큰 및 |
|
CacheReadInputTokens |
SampleCount |
프롬프트 캐시에서 읽은 입력 토큰 수입니다. 이러한 토큰은 할인된 요금으로 청구되며 TPM 할당량에 포함되지 않습니다. |
|
CacheWriteInputTokens |
SampleCount |
프롬프트 캐시에 기록된 입력 토큰 수입니다. 이러한 토큰은 TPM 할당량에 포함됩니다. |
Amazon Bedrock Guardrails 및 Amazon Bedrock Agents에 대한 지표도 있습니다.
모델 호출 로깅 CloudWatch 지표
전송이 성공 또는 실패할 때마다 네임스페이스 AWS/Bedrock 및 Across all model IDs 차원 아래에 다음과 같은 Amazon CloudWatch 지표가 생성됩니다.
-
ModelInvocationLogsCloudWatchDeliverySuccess -
ModelInvocationLogsCloudWatchDeliveryFailure -
ModelInvocationLogsS3DeliverySuccess -
ModelInvocationLogsS3DeliveryFailure -
ModelInvocationLargeDataS3DeliverySuccess -
ModelInvocationLargeDataS3DeliveryFailure
Amazon Bedrock 작업의 지표를 검색하려면 다음 정보를 지정해야 합니다.
-
지표 측정기준. 차원은 지표를 식별하는 데 사용하는 이름-값 페어 집합입니다. Amazon Bedrock은 다음과 같은 차원을 지원합니다.
-
ModelId- 모든 지표 -
ModelId + ImageSize + BucketedStepSize– OutputImageCount
-
-
InvocationClientErrors와 같은 지표 이름.
AWS CLI, 또는 CloudWatch API를 사용하여 Amazon Bedrock AWS Management Console에 대한 지표를 가져올 수 있습니다. AWS 소프트웨어 개발 키트(SDKs) 또는 CloudWatch API 도구 중 하나를 통해 CloudWatch API를 사용할 수 있습니다.
CloudWatch 콘솔에서 Amazon Bedrock 지표를 보려면 탐색 창의 지표 섹션으로 이동하여 모든 지표 옵션을 선택한 다음 모델 ID를 검색합니다.
CloudWatch를 사용하여 Amazon Bedrock을 모니터링하려면 적절한 CloudWatch 권한이 있어야 합니다. 자세한 내용은 Amazon CloudWatch 사용 설명서의 Amazon CloudWatch에 대한 인증 및 액세스 제어 섹션을 참조하세요.
