CloudTrail을 사용하여 Amazon Bedrock API 직접 호출 모니터링

Amazon Bedrock은 Amazon Bedrock에서 사용자, 역할 또는 AWS 서비스가 수행한 작업에 대한 레코드를 제공하는 서비스인 AWS CloudTrail과 통합됩니다. CloudTrail은 Amazon Bedrock에 대한 모든 API 직접 호출을 이벤트로 캡처합니다. 캡처되는 직접 호출에는 Amazon Bedrock 콘솔로부터의 직접 호출과 Amazon Bedrock API 작업에 대한 코드 직접 호출이 포함됩니다. 추적을 생성하면 Amazon Bedrock 이벤트를 포함한 CloudTrail 이벤트를 지속적으로 Amazon S3 버킷에 배포할 수 있습니다.

추적을 구성하지 않은 경우에도 CloudTrail 콘솔의 이벤트 기록에서 최신 이벤트를 볼 수 있습니다.

CloudTrail에서 수집한 정보를 사용하여 Amazon Bedrock에 수행된 요청, 요청이 수행된 IP 주소, 요청을 수행한 사람, 요청이 수행된 시간 및 추가 세부 정보를 확인할 수 있습니다.

CloudTrail에 대한 자세한 내용은 AWS CloudTrail 사용 설명서를 참조하세요.

CloudTrail의 Amazon Bedrock 정보

CloudTrail은 계정 생성 시 AWS 계정에서 사용되도록 설정됩니다. Amazon Bedrock에서 활동이 수행되면 해당 활동은 이벤트 기록에서 다른 AWS 서비스 이벤트와 함께 CloudTrail 이벤트에 기록됩니다. AWS 계정에서 최신 이벤트를 확인, 검색 및 다운로드할 수 있습니다. 자세한 내용은 CloudTrail 이벤트 기록을 사용하여 이벤트 보기를 참조하세요.

Amazon Bedrock의 이벤트를 포함하여 AWS 계정에 이벤트를 지속적으로 기록하려면 추적을 생성합니다. CloudTrail은 추적을 사용하여 Amazon S3 버킷으로 로그 파일을 전송할 수 있습니다. 콘솔에서 추적을 생성하면 기본적으로 모든 AWS 리전에 추적이 적용됩니다. 추적은 AWS 파티션에 있는 모든 리전의 이벤트를 로깅하고 지정된 Amazon S3 버킷으로 로그 파일을 전송합니다. 추가적으로, CloudTrail 로그에서 수집된 이벤트 데이터를 추가 분석 및 처리하도록 다른 AWS 서비스를 구성할 수 있습니다. 자세한 내용은 다음 자료를 참조하세요.

모든 이벤트 또는 로그 항목에는 요청을 생성했던 사용자에 대한 정보가 포함됩니다. ID 정보를 이용하면 다음을 쉽게 판단할 수 있습니다.

자세한 내용은 CloudTrail userIdentity 요소를 참조하세요.

CloudTrail의 Amazon Bedrock 데이터 이벤트

데이터 이벤트는 리소스 기반 또는 리소스에서 수행된 리소스 작업에 대한 정보를 제공합니다(예: Amazon S3 객체 읽기 또는 쓰기). 이를 데이터 플레인 작업이라고도 합니다. 데이터 이벤트는 CloudTrail이 기본적으로 로그하지 않는 대량 활동입니다.

Amazon Bedrock은 Amazon Bedrock 런타임 API 작업(InvokeModel, InvokeModelWithResponseStream, Converse, ConverseStream, ListAsyncInvokes 등)을 관리 이벤트로 로그합니다.

Amazon Bedrock은 Amazon Bedrock 런타임 API 작업(InvokeModelWithBidirectionalStream, GetAsyncInvoke, StartAsyncInvokes 등)을 데이터 이벤트로 로그합니다.

Amazon Bedrock은 Amazon Bedrock Agents 런타임 API 작업(InvokeAgent 및 InvokeInlineAgent 등)에 대한 모든 동작을 CloudTrail에 데이터 이벤트로 로그합니다.

CloudTrail 콘솔에서 데이터 이벤트 유형으로 Bedrock 에이전트 별칭 또는 Bedrock 지식 기반을 선택합니다. 사용자 지정 로그 선택기 템플릿을 선택하여 eventName 및 resources.ARN 필드를 추가로 필터링할 수 있습니다. 자세한 내용은 AWS Management Console을 사용하여 데이터 이벤트 로깅을 참조하세요.

AWS CLI에서 resource.type 값을 AWS::Bedrock::AgentAlias, AWS::Bedrock::KnowledgeBase 또는 AWS::Bedrock::FlowAlias와 동일하게 설정하고 eventCategory를 Data와 동일하게 설정합니다. 자세한 내용은 AWS CLI를 사용한 데이터 이벤트 로깅 섹션을 참조하세요.

다음 예제는 AWS CLI에 모든 Amazon Bedrock 리소스 유형의 모든 Amazon Bedrock 데이터 이벤트를 로그하는 추적 기능을 구성하는 방법을 보여 줍니다.

aws cloudtrail put-event-selectors --trail-name trailName \
--advanced-event-selectors \
'[
  {
    "Name": "Log all data events on an alias of an agent in Amazon Bedrock.",
    "FieldSelectors": [
      { "Field": "eventCategory", "Equals": ["Data"] },
      { "Field": "resources.type", "Equals": ["AWS::Bedrock::AgentAlias"] }
    ]
  },
  {
    "Name": "Log all data events on a knowledge base in Amazon Bedrock.",
    "FieldSelectors": [
      { "Field": "eventCategory", "Equals": ["Data"] },
      { "Field": "resources.type", "Equals": ["AWS::Bedrock::KnowledgeBase"] }
    ]
  },
  {
    "Name": "Log all data events on a flow in Amazon Bedrock.",
    "FieldSelectors": [
      { "Field": "eventCategory", "Equals": ["Data"] },
      { "Field": "resources.type", "Equals": ["AWS::Bedrock::FlowAlias"] }
    ]
  }
  {
    "Name": "Log all data events on a guardrail in Amazon Bedrock.",
    "FieldSelectors": [
      { "Field": "eventCategory", "Equals": ["Data"] },
      { "Field": "resources.type", "Equals": ["AWS::Bedrock::Guardrail"] }
    ]
  }
]'

eventName 및 resources.ARN 필드를 추가로 필터링할 수 있습니다. 필드에 대한 자세한 내용은 AdvancedFieldSelector 섹션을 참조하세요.

데이터 이벤트에는 추가 요금이 적용됩니다. CloudTrail 요금에 대한 자세한 내용은 AWS CloudTrail 요금을 참조하세요.

CloudTrail의 Amazon Bedrock 관리 이벤트

관리 이벤트는 AWS 계정의 리소스에 대해 수행되는 관리 작업에 대한 정보를 제공합니다. 이를 컨트롤 플레인 작업이라고도 합니다. CloudTrail은 기본적으로 관리 이벤트 API 작업을 로깅합니다.

Amazon Bedrock은 Amazon Bedrock 런타임 API 작업(InvokeModel, InvokeModelWithResponseStream, Converse, ConverseStream)을 관리 이벤트로 로그합니다.

Amazon Bedrock은 나머지 Amazon Bedrock API 작업을 관리 이벤트로 로그합니다. Amazon Bedrock이 CloudTrail에 로그하는 Amazon Bedrock API 작업의 목록은 Amazon Bedrock API 참조에 있는 다음 페이지를 참조하세요.

모든 Amazon Bedrock API 작업 및 Amazon Bedrock Agents API 작업은 CloudTrail에 로그되며 Amazon Bedrock API 참조에 나와 있습니다. 예를 들어 InvokeModel, StopModelCustomizationJob 및 CreateAgent 작업을 직접적으로 호출하면 CloudTrail 로그 파일에 항목이 생성됩니다.

Amazon GuardDuty는 CloudTrail 관리 및 이벤트 로그를 지속적으로 모니터링하고 분석하여 잠재적 보안 문제를 탐지합니다. AWS 계정에 대해 Amazon GuardDuty를 활성화하면 CloudTrail 로그를 자동으로 분석하여 Amazon Bedrock API에서 의심스러운 활동을 감지합니다. 예를 들어, 사용자가 새로운 위치에서 로그인하여 Amazon Bedrock API를 사용해 Amazon Bedrock Guardrails를 제거하거나 모델 훈련 데이터에 대한 Amazon S3 버킷 세트를 변경하는 경우가 있습니다.

Amazon Bedrock 로그 파일 항목 이해

추적이란 지정한 S3 버킷에 이벤트를 로그 파일로 입력할 수 있게 하는 구성입니다. CloudTrail 로그 파일에는 하나 이상의 로그 항목이 포함될 수 있습니다. 이벤트는 모든 소스의 단일 요청을 나타내며 요청된 작업, 작업 날짜와 시간, 요청 파라미터 등에 대한 정보를 포함합니다. CloudTrail 로그 파일은 퍼블릭 API 직접 호출의 주문 스택 트레이스가 아니므로 특정 순서로 표시되지 않습니다.

다음은 InvokeModel 작업을 보여주는 CloudTrail 로그 항목이 나타낸 예시입니다.

{
    "eventVersion": "1.08",
    "userIdentity": {
        "type": "IAMUser",
        "principalId": "AROAICFHPEXAMPLE",
        "arn": "arn:aws:iam::111122223333:user/userxyz",
        "accountId": "111122223333",
        "accessKeyId": "AKIAIOSFODNN7EXAMPLE",
        "userName": "userxyz"
    },
    "eventTime": "2023-10-11T21:58:59Z",
    "eventSource": "bedrock.amazonaws.com",
    "eventName": "InvokeModel",
    "awsRegion": "us-west-2",
    "sourceIPAddress": "192.0.2.0",
    "userAgent": "Boto3/1.28.62 md/Botocore#1.31.62 ua/2.0 os/macos#22.6.0 md/arch#arm64 lang/python#3.9.6 md/pyimpl#CPython cfg/retry-mode#legacy Botocore/1.31.62",
    "requestParameters": {
        "modelId": "stability.stable-diffusion-xl-v0"
    },
    "responseElements": null,
    "requestID": "a1b2c3d4-5678-90ab-cdef-EXAMPLE22222",
    "eventID": "a1b2c3d4-5678-90ab-cdef-EXAMPLE11111 ",
    "readOnly": false,
    "eventType": "AwsApiCall",
    "managementEvent": true,
    "recipientAccountId": "111122223333",
    "eventCategory": "Management",
    "tlsDetails": {
        "tlsVersion": "TLSv1.2",
        "cipherSuite": "cipher suite",
        "clientProvidedHostHeader": "bedrock-runtime.us-west-2.amazonaws.com"
    }
}