벡터 검색 - Amazon OpenSearch Service

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

벡터 검색

Amazon OpenSearch Service의 벡터 검색을 사용하면 기존 키워드 매칭 대신 기계 학습 임베딩을 사용하여 의미상 유사한 콘텐츠를 검색할 수 있습니다. 벡터 검색은 데이터(텍스트, 이미지, 오디오 등)를 콘텐츠의 의미론적 의미를 캡처하는 고차원 숫자 벡터(임베딩)로 변환합니다. 검색을 수행할 때 OpenSearch는 쿼리의 벡터 표현을 저장된 벡터와 비교하여 가장 유사한 항목을 찾습니다.

벡터 검색에는 다음과 같은 주요 구성 요소가 포함됩니다.

벡터 필드

OpenSearch는 구성 가능한 차원(최대 1만 6,000개)이 있는 고밀도 벡터를 저장할 수 있도록 knn_vector 필드 유형을 지원합니다.

검색 방법

  • k-NN(k-nearest neighbors): 가장 유사한 k 벡터를 찾습니다.

  • Approximate k-NN: 대규모 데이터 세트의 검색 속도를 높이기 위해 HNSW(Hierarchical Navigable Small World)와 같은 알고리즘을 사용합니다.

거리 지표

다음을 포함한 다양한 유사성 계산을 지원합니다.

  • 유클리드 거리

  • 코사인 유사성

  • 내적

일반 사용 사례

벡터 검색은 다음과 같은 일반적인 사용 사례를 지원합니다.

  • 시맨틱 검색: 단순한 키워드 매칭이 아니라 유사한 의미의 문서 찾기

  • 추천 시스템: 유사한 제품, 콘텐츠 또는 사용자 추천

  • 이미지 검색: 시각적으로 유사한 이미지 찾기

  • 이상 탐지: 데이터 패턴의 이상치 식별

  • RAG(검색 증강 생성): 관련 컨텍스트를 사용하여 LLM 응답 개선

기계 학습과 통합

OpenSearch는 다음 기계 학습 서비스 및 모델과 통합됩니다.

  • Amazon Bedrock: 파운데이션 모델을 사용한 임베딩 생성용

  • Amazon SageMaker AI: 사용자 지정 ML 모델 배포용

  • Hugging Face 모델: 사전 훈련된 임베딩 모델

  • 사용자 지정 모델: 자체 훈련된 임베딩 모델

벡터 검색을 사용하면 기존의 텍스트 일치 기능을 훨씬 넘어서 컨텍스트와 의미를 이해하는 정교한 AI 기반 애플리케이션을 구축할 수 있습니다.