모델 간접 호출
CloudWatch 생성형 AI 관찰성을 통해 모델 간접 호출 성능을 모니터링할 수 있습니다. 바로 사용 가능한 보기를 통해 간접 호출 수, 토큰 사용량 및 오류와 같은 지표를 추적할 수 있습니다. 입력 및 출력과 같은 간접 호출 콘텐츠를 자세히 보려면 Bedrock 간접 호출 로깅을 활성화하고 로그를 CloudWatch로 전송합니다. 자세한 내용은 Set up a CloudWatch Logs destination 및 Help protect sensitive log data with masking을 참조하세요.
Amazon Bedrock에서 모델 간접 호출 활성화
참고
간접 호출을 보려면 Amazon Bedrock에서 모델 간접 호출 로깅을 활성화해야 합니다.
Amazon Bedrock에서 모델 간접 호출 로깅을 활성화하려면 다음 단계를 따르세요.
https://console.aws.amazon.com/bedrock/
에서 Amazon Bedrock 콘솔을 엽니다. 설정을 선택합니다.
모델 간접 호출 로깅에서 모델 간접 호출 로깅을 선택하세요.
로그에 포함할 필수 데이터 유형을 선택하세요. CloudWatch Logs에만 로그를 전송하거나 Amazon S3 및 CloudWatch Logs 모두에 로그를 전송하도록 선택하세요.
CloudWatch Logs 구성에서 로그 그룹 이름을 생성하고 적절한 서비스 역할을 선택하세요.
로그에 포함할 필수 데이터 유형을 선택하세요.
설정 저장을 선택하세요.
Amazon Bedrock 간접 호출 사용을 시작하면 미리 구성된 대시보드를 자동으로 볼 수 있습니다.
Model Invocation logging을 활성화한 후 기본 대시보드를 보고 아래의 간접 호출 테이블에 액세스할 수 있습니다.
간접 호출 수 – Converse, ConverseStream, InvokeModel, InvokeModelWithResponseStream API 작업에 대한 성공적인 요청 수
간접 호출 지연 시간 - 간접 호출 지연 시간
모델별 토큰 수 - 입력 토큰 수 및 출력 토큰 수로 구분된 모델별 토큰 수
ModelID별 일일 토큰 수 - 모델 ID별 총 일일 토큰 수
InputTokenCount, OutputTokenCount - 이 계정에서 선택한 모델에 대한 입력 및 출력에 있는 총 토큰 수
입력 토큰별로 그룹화된 요청 - 입력 토큰을 기준으로 6개의 범위로 그룹화된 요청 수. 각 줄은 특정 범위에 속하는 요청 수를 나타냅니다.
간접 호출 스로틀 - 시스템이 스로틀링하는 간접 호출 수. 표시되는 스로틀 수는 SDK의 재시도 설정에 따라 달라집니다. 자세한 내용은 AWS SDK 및 도구 참조 설명서의 Retry 동작을 참조하세요.
간접 호출 오류 수 - 서버 측 및 클라이언트 측 오류가 발생하는 간접 호출 수
모델 간접 호출 대시보드를 사용하려면 다음 단계를 따르세요.
간접 호출 세부 정보를 보려면 지표 그래프 위로 마우스를 가져가세요. 경보 아이콘을 선택하여 애플리케이션 품질 및 성능을 모니터링하도록
Alarms를 설정할 수 있습니다. 경보에 대한 자세한 내용은 경보를 참조하세요. 지표에 대한 자세한 내용은 Amazon Bedrock runtime metrics를 참조하세요.ModelID 드롭다운에서 모델 ID를 선택하여 해당 지표를 볼 수 있습니다.
CloudWatch 지표에서 보기를 선택하여 CloudWatch에서 대시보드 지표를 보세요.
기간 재정의를 선택하여 지표 기간을 조정하세요(예: 1분, 1시간 또는 6시간).
간접 호출에서 요청 ID를 선택하여 요청의 세부 정보를 보세요. 오른쪽 창에서 모델 간접 호출 입력 및 출력 세부 정보를 볼 수 있습니다.
요청 ID 페이지의 작업 드롭다운에서 Logs Insights에서 보기를 선택하여 CloudWatch에서 로그를 보세요. 자세한 내용은 CloudWatch Logs Insights를 사용한 로그 분석을 참조하세요.
