멀티모달 지식 기반 테스트 및 쿼리 - Amazon Bedrock
지원되는 쿼리 유형응답 메타데이터 이해

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

멀티모달 지식 기반 테스트 및 쿼리

멀티모달 콘텐츠를 수집한 후 콘솔 또는 API를 사용하여 지식 기반을 테스트하고 쿼리할 수 있습니다. 사용 가능한 쿼리 유형은 선택한 처리 접근 방식에 따라 다릅니다.

Console
콘솔에서 지식 기반을 테스트하려면

  1. 지식 기반 세부 정보 페이지에서 지식 기반 테스트 섹션으로 스크롤합니다.

  2. 쿼리 유형을 선택합니다.

    • 표준 검색만 해당: 단일 지식 기반에서 데이터 소스의 정보를 쿼리하고 검색합니다.

    • 검색 및 응답 생성: 파운데이션 모델을 사용하여 단일 지식 기반을 쿼리하고 검색된 결과를 기반으로 응답을 생성합니다.

      참고

      멀티모달 콘텐츠가 있는 경우 검색 및 응답 생성에 BDA 구문 분석기를 사용해야 합니다.

  3. 필요에 따라 추가 옵션을 구성합니다.

    • 소스 청크: 반환할 최대 소스 청크 수 지정

    • 검색 유형: 검색 유형을 선택하여 쿼리 전략 사용자 지정

    • 메타데이터 필터: 필터를 적용하여 검색 결과 좁히기

    • 가드레일: 기존 가드레일을 선택하거나 새 가드레일을 생성합니다.

  4. 텍스트 쿼리를 입력하거나 이미지를 업로드하여(Nova 멀티모달 임베딩만 해당) 멀티모달 콘텐츠를 검색합니다. 첨부 버튼을 사용하여 시각적 유사성 검색을 위한 이미지를 업로드합니다.

  5. 다음을 포함한 결과를 검토합니다.

    • 관련성 점수가 있는 검색된 콘텐츠 청크

    • 소스 파일 참조 및 타임스탬프(오디오/비디오용)

    • 파일 유형 및 처리 정보를 포함한 메타데이터

    • 멀티미디어 콘텐츠의 경우 검색된 타임스탬프를 기반으로 자동 세그먼트 위치가 있는 재생 제어

API

다음 예제에서는 Amazon Bedrock Agent 런타임 API를 사용하여 프로그래밍 방식으로 멀티모달 지식 기반을 쿼리하는 방법을 보여줍니다.

텍스트 쿼리 예제

텍스트 입력을 사용하여 검색합니다.

aws bedrock-agent-runtime retrieve \
--knowledge-base-id <knowledge-base-id> \
--retrieval-query text="robot automation in manufacturing"
이미지 쿼리 예제(Nova 멀티모달 임베딩만 해당)

업로드된 이미지를 사용하여 검색합니다.

{
    "knowledgeBaseId": "<knowledge-base-id>",
    "retrievalQuery": {
        "imageQuery": {
            "inlineContent": {
                "mimeType": "image/jpeg",
                "data": "<base64-encoded-image>"
            }
        }
    }
}

지원되는 쿼리 유형

텍스트 쿼리

Nova 멀티모달 임베딩과 BDA 접근 방식 모두에서 지원됩니다. 자연어 텍스트를 사용하여 검색하여 모든 미디어 유형에서 관련 콘텐츠를 찾습니다.

이미지 쿼리

Nova 멀티모달 임베딩에서만 지원됩니다. 이미지를 업로드하여 지식 기반에서 시각적으로 유사한 콘텐츠를 찾습니다.

응답 메타데이터 이해

멀티모달 쿼리 응답에는 멀티미디어 콘텐츠에 대한 추가 메타데이터가 포함됩니다.

소스 어트리뷰션

안정적인 액세스를 위한 원본 파일 위치(sourceUri) 및 멀티모달 스토리지 위치(supplementalUri)

임시 메타데이터

오디오 및 비디오 세그먼트의 시작 및 종료 타임스탬프를 통해 관련 콘텐츠에 대한 정확한 탐색 가능

콘텐츠 유형 정보

애플리케이션이 다양한 콘텐츠 유형을 적절하게 처리하는 데 도움이 되는 파일 형식, 처리 방법 및 양식 지표

벡터 데이터베이스 메타데이터 구조

멀티모달 콘텐츠가 처리되고 저장되면 벡터 데이터베이스에 다음 메타데이터 구조가 사용됩니다.

  • 텍스트 필드: Nova Multimodal Embeddings로 처리된 멀티미디어 파일의 경우 콘텐츠가 텍스트가 아닌 네이티브 멀티미디어로 포함되므로이 필드에는 빈 문자열이 포함됩니다.

  • 메타데이터 필드: 소스 세부 정보 및 관련 콘텐츠 참조를 포함한 구조화된 정보를 포함합니다.

    {
  "source": {
    "sourceType": "S3",
    "s3Location": {
      "uri": "s3://source-bucket/path/to/file.mp4"
    }
  },
  "relatedContent": [{
    "type": "S3",
    "s3Location": {
      "uri": "s3://multimodal-storage-bucket/processed/file.mp4"
    }
  }]
}

  • 자동 생성된 필드: 필터링 및 식별을 위한 추가 필드:

    • x-amz-bedrock-kb-source-uri: 필터링 작업을 위한 원본 소스 URI

    • x-amz-bedrock-kb-data-source-id: 콘텐츠 오리진을 추적하기 위한 데이터 소스 식별자

    • x-amz-bedrock-kb-chunk-start-time-in-millis: 오디오 및 비디오 세그먼트의 타임스탬프를 밀리초 단위로 시작

    • x-amz-bedrock-kb-chunk-end-time-in-millis: 오디오 및 비디오 세그먼트의 타임스탬프를 밀리초 단위로 종료

    • x-amz-bedrock-kb-source-file-mime-type: 소스 파일의 MIME 유형

    • x-amz-bedrock-kb-source-file-modality: 소스 파일의 형식(TEXT, IMAGE, AUDIO, VIDEO)

중요

애플리케이션은 제공된 타임스탬프를 사용하여 오디오 및 비디오 파일에서 특정 세그먼트를 추출하고 재생해야 합니다. 지식 기반은 사전 분할된 클립이 아닌 전체 파일에 대한 참조를 반환합니다.