View a markdown version of this page

CloudWatch 지표를 사용하여 bedrock-mantle 추론 모니터링 - Amazon Bedrock
추론 지표토큰 지표측정 기준적절한 세부 수준 선택bedrock-runtime 지표와의 차이점bedrock-mantle 지표 보기

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

CloudWatch 지표를 사용하여 bedrock-mantle 추론 모니터링

Amazon Bedrock OpenAI 호환 엔드포인트(bedrock-mantle.region.api.aws)는 AWS/BedrockMantle 네임스페이스 아래의 Amazon CloudWatch에 고객 대면 지표를 게시합니다. 이러한 지표를 사용하여 , AWS 계정프로젝트 및 모델 전반의 추론 볼륨, 토큰 소비 및 오류율을 모니터링할 수 있습니다.

애플리케이션이 Converse, ConverseStream, InvokeModel 또는 InvokeModelWithResponseStream을 bedrock-runtime.region.amazonaws.com 사용하여 추론을 호출하는 경우 Amazon Bedrock 런타임 지표 대신 섹션을 참조하세요. bedrock-mantle 지표는 bedrock-mantle 엔드포인트의 응답 API, 채팅 완료 API 및 Anthropic Messages API를 통해 발급된 추론만 다룹니다.

bedrock-mantle는 네 가지 세부 수준으로 지표를 게시합니다. 각 레벨은에 설명된 서로 다른 CloudWatch 차원 조합을 사용합니다측정 기준. 모든 지표의 범위는 로 지정됩니다 AWS 계정.

추론 지표

추론 지표
지표 이름 단위 설명
Inferences 개수 응답, 채팅 완료 및 메시지 APIs. 계정, 프로젝트, 모델 및 프로젝트+모델 수준에서 게시됩니다.
InferenceClientErrors 개수 클라이언트 측(4xx) 오류로 실패한 추론 요청 수입니다. 계정, 프로젝트, 모델 및 프로젝트+모델 수준에서 게시됩니다.

토큰 지표

토큰 지표
지표 이름 단위 설명
TotalInputTokens 개수 게시 간격 내에 처리된 청구 가능한 입력 토큰을 집계합니다. 계정, 프로젝트 및 모델 수준에서 게시됩니다. 합계 및 비율 계산에 사용합니다.
TotalOutputTokens 개수 게시 간격 내에 생성된 청구 가능한 출력 토큰을 집계합니다. 계정, 프로젝트 및 모델 수준에서 게시됩니다.
InputTokens 개수 추론당 청구 가능한 입력 토큰입니다. 완료된 각 추론은 하나의 데이텀을 내보냅니다. Project+Model 수준에서만 게시됩니다. 요청당 토큰 수의 백분위수 통계(p50/p90/p99)가 필요할 때 사용합니다.
OutputTokens 개수 추론당 청구 가능한 출력 토큰입니다. 완료된 각 추론은 하나의 데이텀을 내보냅니다. Project+Model 수준에서만 게시됩니다.

측정 기준

측정 기준
차원 이름 값 적용 대상
Project 추론 요청과 연결된 프로젝트 ID입니다. 프로젝트, 프로젝트+모델
Model 모델 식별자(예: anthropic.claude-opus-4-7). 모델, 프로젝트+모델

계정 수준 지표는 로 범위가 지정 AWS 계정 되며 추가 차원이 없습니다. 각 세분화 수준은 독립적으로 방출되므로 프로젝트와 모델을 모두 해결할 수 있는 경우 단일 추론이 네 가지 수준 모두에 기여합니다.

적절한 세부 수준 선택

  • 계정 수준 - 전체 사용량, 오류율 및 집계 토큰 볼륨. 상위 수준 대시보드 및 계정 전체 경보에 적합합니다. 요금은 모델에 따라 다르므로 비용 분석에 적합하지 않습니다.

  • 프로젝트 수준 - 차지백 및 팀 수준 대시보드에 대한 프로젝트별 롤업입니다.

  • 모델 수준 - 모델별 사용량 및 오류율로, 기존 bedrock-runtimeModelId차원에 맞게 구축된 대시보드를 마이그레이션하는 데 적합합니다.

  • 프로젝트+모델 수준 - 비용 분석의 기본 수준, 백분위수 지연 시간 및 토큰 분석. 동일한 데이텀에 프로젝트 어트리뷰션과 모델 어트리뷰션이 모두 필요한 경우에 사용합니다.

bedrock-runtime 지표와의 차이점

  • 별도의 네임스페이스. bedrock-mantle 지표는에 게시됩니다AWS/BedrockMantle. 에 대해 구축된 기존 대시보드 및 경보AWS/Bedrock는 bedrock-mantle 트래픽을 픽업하지 않습니다.

  • 이름 지정.는 Inferences 대신 Invocations, TotalInputTokens 대신 InputTokenCount , TotalOutputTokens 대신 OutputTokenCount, InferenceClientErrors 대신를 bedrock-mantle 사용합니다InvocationClientErrors.

  • 프로젝트 차원. bedrock-mantle 지표에는 bedrock-runtime 지표가 제공하지 않는 Project차원이 있으므로 프로젝트당 비용 어트리뷰션이 활성화됩니다.

  • 교차 리전 추론. bedrock-mantle는 리전 내 전용입니다. 지표는 요청을 처리한 리전에서 생성되며 리전 간 추론(CRIS) 트래픽이에 있는 방식만큼 리전 간에 집계되지 않습니다bedrock-runtime.

  • 지연 시간 지표. InvocationLatency 및 TimeToFirstToken 이에 상응하는 지표는 아직에서 게시되지 않았습니다bedrock-mantle.

bedrock-mantle 지표 보기

CloudWatch 콘솔에서 bedrock-mantle 지표를 보려면:

  1. CloudWatch 콘솔을 엽니다.

  2. 탐색 창에서 지표, 모든 지표를 선택합니다.

  3. AWS/BedrockMantle 네임스페이스를 선택합니다.

  4. 쿼리와 일치하는 차원 세트를 선택하여 세분화 수준을 선택합니다(예: project-and-model 분석의 Project, Model 경우).

bedrock-mantle 지표를 읽으려면 적절한 CloudWatch 권한이 있어야 합니다. 자세한 내용은 Amazon CloudWatch 사용 설명서의 Amazon CloudWatch에 대한 인증 및 액세스 제어를 참조하세요. Amazon CloudWatch