# 모델 간접 호출
<a name="model-invocations"></a>

CloudWatch 생성형 AI 관찰성을 통해 모델 간접 호출 성능을 모니터링할 수 있습니다. 바로 사용 가능한 보기를 통해 간접 호출 수, 토큰 사용량 및 오류와 같은 지표를 추적할 수 있습니다. 입력 및 출력과 같은 간접 호출 콘텐츠를 자세히 보려면 **Bedrock 간접 호출 로깅**을 활성화하고 로그를 CloudWatch로 전송합니다. 자세한 내용은 [Set up a CloudWatch Logs destination](https://docs.aws.amazon.com/bedrock/latest/userguide/model-invocation-logging.html#setup-cloudwatch-logs-destination) 및 [Help protect sensitive log data with masking](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/mask-sensitive-log-data.html)을 참조하세요.

## Amazon Bedrock에서 모델 간접 호출 활성화
<a name="enabling-bedrock-invocation"></a>

**참고**  
간접 호출을 보려면 Amazon Bedrock에서 모델 간접 호출 로깅을 활성화해야 합니다.

Amazon Bedrock에서 모델 간접 호출 로깅을 활성화하려면 다음 단계를 따르세요.

1. 그 다음 [https://console.aws.amazon.com/bedrock/](https://console.aws.amazon.com/bedrock/)에서 Amazon Bedrock 콘솔을 엽니다.

1. **설정**을 선택합니다.

1. **모델 간접 호출 로깅**에서 **모델 간접 호출 로깅**을 선택하세요.

1. 로그에 포함할 필수 데이터 유형을 선택하세요. CloudWatch Logs에만 로그를 전송하도록 선택하거나, Amazon S3에 이미 게시 중인 경우 Amazon S3 및 CloudWatch Logs 양쪽 모두에 로그를 전송하도록 선택하세요.

1. CloudWatch Logs 구성에서 로그 그룹 이름을 생성하고 적절한 서비스 역할을 선택하세요.

1. 로그에 포함할 필수 데이터 유형을 선택하세요.

1. **설정 저장**을 선택하세요.

   Amazon Bedrock 간접 호출 사용을 시작하면 미리 구성된 대시보드를 자동으로 볼 수 있습니다. `Model Invocation logging`을 활성화한 후 기본 대시보드를 보고 아래의 간접 호출 테이블에 액세스할 수 있습니다.

![생성형 AI 관찰성](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/GenAI.png)

+ **간접 호출 수** – [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html), [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html), [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html), [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html) API 작업에 대한 성공적인 요청 수
+ **간접 호출 지연 시간** - 간접 호출 지연 시간
+ **모델별 토큰 수** - 입력 토큰 수 및 출력 토큰 수로 구분된 모델별 토큰 수
+ **ModelID별 일일 토큰 수** - 모델 ID별 총 일일 토큰 수
+ **InputTokenCount, OutputTokenCount** - 이 계정에서 선택한 모델에 대한 입력 및 출력에 있는 총 토큰 수
+ **입력 토큰별로 그룹화된 요청** - 입력 토큰을 기준으로 6개의 범위로 그룹화된 요청 수. 각 줄은 특정 범위에 속하는 요청 수를 나타냅니다.
+ **간접 호출 스로틀** - 시스템이 스로틀링하는 간접 호출 수. 표시되는 스로틀 수는 SDK의 재시도 설정에 따라 달라집니다. 자세한 내용은 AWS SDK 및 도구 참조 설명서의 [Retry](https://docs.aws.amazon.com/sdkref/latest/guide/feature-retry-behavior.html) 동작을 참조하세요.
+ **간접 호출 오류 수** - 서버 측 및 클라이언트 측 오류가 발생하는 간접 호출 수

모델 간접 호출 대시보드를 사용하려면 다음 단계를 따르세요.

1. 간접 호출 세부 정보를 보려면 지표 그래프 위로 마우스를 가져가세요. **경보** 아이콘을 선택하여 애플리케이션 품질 및 성능을 모니터링하도록 `Alarms`를 설정할 수 있습니다.

1. **ModelID** 드롭다운에서 모델 ID를 선택하여 해당 지표를 볼 수 있습니다.

1. **CloudWatch 지표에서 보기**를 선택하여 CloudWatch에서 대시보드 지표를 보세요.

1. **기간 재정의**를 선택하여 지표 기간을 조정하세요(예: 1분, 1시간 또는 6시간).

1. **간접 호출**에서 **요청 ID**를 선택하여 요청의 세부 정보를 보세요. 오른쪽 창에서 모델 간접 호출 입력 및 출력 세부 정보를 볼 수 있습니다.

![모델 간접 호출 - 요청 ID 보기](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/GenAI_Model_Invocation.png)


**요청 ID** 페이지의 **작업** 드롭다운에서 **Logs Insights에서 보기**를 선택하여 CloudWatch에서 로그를 보세요. 자세한 내용은 [CloudWatch Logs Insights를 사용한 로그 분석](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AnalyzingLogData.html)을 참조하세요.