벡터 개요 - AWS 권장 가이드

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

벡터 개요

벡터는 머신이 데이터를 이해하고 처리하는 데 도움이 되는 수치 표현입니다. 생성형 AI에서는 두 가지 주요 목적을 수행합니다.

  • 압축된 형식으로 데이터 구조를 캡처하는 잠재적 공간 표시

  • 단어, 문장, 이미지와 같은 데이터에 대한 임베딩 생성

Word2Vec, GloVe 및 Amazon Titan Text Embeddings와 같은 임베딩 모델은 임베딩이라는 프로세스를 통해 데이터를 벡터로 변환합니다. 이러한 임베딩 모델은 다음을 수행할 수 있습니다.

  • 컨텍스트에서 학습하여 단어를 벡터로 표현합니다.

  • 유사한 단어를 벡터 공간에 더 가깝게 배치합니다.

  • 시스템이 연속 공간에서 데이터를 처리할 수 있도록 합니다.

다음 다이어그램은 임베딩 프로세스에 대한 개략적인 개요를 제공합니다.

  1. Amazon Simple Storage Service(Amazon S3) 버킷에는 시스템이 정보를 읽고 처리할 데이터 소스인 파일이 포함되어 있습니다. S3 버킷은 Amazon Bedrock 지식 기반 구성 중에 지정되며, 여기에는 데이터를 지식 기반과 동기화하는 것도 포함됩니다.

  2. 임베딩 모델은 S3 버킷의 객체 파일에서 원시 데이터를 벡터 임베딩으로 변환합니다. 예를 들어 Object1은 벡터 [0.6, 0.7, ...]로 변환되어 다차원 공간에서 콘텐츠를 나타냅니다.

임베딩 모델은 Amazon S3 버킷의 객체를 벡터 임베딩으로 변환합니다.

단어 임베딩은 다음을 수행하기 때문에 자연어 처리(NLP)에 매우 중요합니다.

  • 단어 간의 의미 관계를 캡처합니다.

  • 상황에 맞는 텍스트 생성을 활성화합니다.

  • 대규모 언어 모델(LLMs 강화하여 인간과 유사한 응답을 생성합니다.