Amazon Bedrock 지식 기반을 사용하여 RAG 애플리케이션 구축

로컬 디렉터리를 생성하고 샘플 PDFs.

$ mkdir -p ~/kb-pdfs && cd ~/kb-pdfs
curl -sSL -o aws-overview.pdf https://d1.awsstatic.com/whitepapers/aws-overview.pdf
curl -sSL -o wellarchitected-framework.pdf https://docs.aws.amazon.com/pdfs/wellarchitected/latest/framework/wellarchitected-framework.pdf
curl -sSL -o s3-userguide.pdf https://docs.aws.amazon.com/pdfs/AmazonS3/latest/userguide/s3-userguide.pdf

각 파일을 액세스 포인트에 업로드합니다. access-point-alias를 액세스 포인트 별칭(예: my-kb-ap-a1b2c3d4e5f6g7h8i9j0kl1mnop2uuse1a-ext-s3alias)으로 바꿉니다. Amazon FSx 콘솔의 볼륨에 연결된 Amazon S3 액세스 포인트에서 또는를 실행하여 별칭을 찾을 수 있습니다aws fsx describe-s3-access-point-attachments.

$ for f in *.pdf; do
    aws s3 cp "$f" "s3://access-point-alias/$f"
done

볼륨에 있는 파일을 확인합니다.

$ aws s3 ls s3://access-point-alias/

Amazon S3 벡터 버킷을 생성합니다. 벡터 버킷 이름은 표준 Amazon S3 버킷과 동일한 글로벌 고유성 규칙을 따릅니다. 이 자습서에서는 fsxn-kb-vectors를 사용합니다.를 고유한 이름으로 바꿉니다.

$ aws s3vectors create-vector-bucket --vector-bucket-name fsxn-kb-vectors

버킷에 벡터 인덱스를 생성합니다. 인덱스 차원은 임베딩 모델의 출력 차원과 일치해야 합니다. Titan Text Embeddings v2는 1,024개의 차원을 출력합니다. nonFilterableMetadataKeys 설정은 Bedrock 메타데이터 필드를 필터링할 수 없음으로 표시하여 벡터당 필터링 가능한 메타데이터 제한 2KB에서 제외합니다.

$ aws s3vectors create-index --vector-bucket-name fsxn-kb-vectors \
    --index-name bedrock-kb-index \
    --dimension 1024 --distance-metric cosine --data-type float32 \
    --metadata-configuration '{"nonFilterableMetadataKeys":["AMAZON_BEDROCK_METADATA","AMAZON_BEDROCK_TEXT"]}'

응답indexArn에서를 기록해 둡니다.에서 사용합니다4단계: 지식 기반 및 데이터 소스 생성.

그 다음 https://console.aws.amazon.com/bedrock/에서 Amazon Bedrock 콘솔을 엽니다.

왼쪽 탐색 창에서 지식 기반을 선택한 다음 지식 기반 생성을 선택합니다.

지식 기반 세부 정보에서 이름(예: fsxn-kb)과 설명을 입력합니다.

IAM 권한에서 새 서비스 역할 생성 및 사용을 선택합니다.

데이터 소스에서 Amazon S3를 선택한 후 다음을 선택합니다.

데이터 소스 이름(예: fsxn-s3ap-source)을 입력합니다.

S3 URI에와 같이 액세스 포인트 별칭 s3:// 뒤에를 입력합니다s3://my-kb-ap-a1b2c3d4e5f6g7h8i9j0kl1mnop2uuse1a-ext-s3alias. 콘솔은이 필드의 버킷 이름과 액세스 포인트 별칭을 구분하지 않습니다. 액세스 포인트 별칭은 있는 그대로 수락됩니다.

다음을 선택합니다.

임베딩 모델에서 Titan Text Embeddings v2를 선택합니다.

벡터 데이터베이스에서 빠른 새 벡터 저장소 생성을 선택하고 Amazon S3 벡터를 선택합니다. 다음을 선택합니다.

구성을 검토하고 지식 기반 생성을 선택합니다. 지식 기반을 생성하는 데 몇 분 정도 걸릴 수 있습니다.

지식 기반을 생성합니다. 자리 표시자를 값으로 바꿉니다. indexArn는 2단계에서 생성한 Amazon S3 벡터 인덱스의 ARN입니다.

$ aws bedrock-agent create-knowledge-base --name fsxn-kb \
    --role-arn arn:aws:iam::account-id:role/fsxn-kb-role \
    --knowledge-base-configuration '{
        "type":"VECTOR",
        "vectorKnowledgeBaseConfiguration":{
            "embeddingModelArn":"arn:aws:bedrock:region::foundation-model/amazon.titan-embed-text-v2:0"
        }
    }' \
    --storage-configuration '{
        "type":"S3_VECTORS",
        "s3VectorsConfiguration":{
            "indexArn":"index-arn"
        }
    }'

응답의 knowledgeBaseId에 주의하세요.

데이터 소스를 생성합니다. 양식을 사용하여 Amazon S3 액세스 포인트 별칭을 bucketArn 필드의 버킷 이름으로 전달합니다arn:aws:s3:::access-point-alias.

$ aws bedrock-agent create-data-source \
    --knowledge-base-id knowledge-base-id \
    --name fsxn-s3ap-source \
    --data-source-configuration '{
        "type":"S3",
        "s3Configuration":{"bucketArn":"arn:aws:s3:::access-point-alias"}
    }'

응답의 dataSourceId에 주의하세요.

Amazon Bedrock 콘솔에서 지식 기반을 엽니다.

데이터 소스 섹션에서 데이터 소스를 선택한 다음 동기화를 선택합니다.

동기화 상태가 준비 완료로 표시될 때까지 기다립니다.

수집 작업을 시작합니다.

$ aws bedrock-agent start-ingestion-job \
    --knowledge-base-id knowledge-base-id \
    --data-source-id data-source-id

응답의 ingestionJobId에 주의하세요.

작업이 완료될 때까지 폴링합니다.

$ aws bedrock-agent get-ingestion-job \
    --knowledge-base-id knowledge-base-id \
    --data-source-id data-source-id \
    --ingestion-job-id ingestion-job-id

status 필드는에서 IN_PROGRESS로 전환됩니다COMPLETE. statistics 필드에는 스캔 및 인덱싱된 문서 수가 표시됩니다.

Amazon Bedrock 콘솔에서 지식 기반을 엽니다.

지식 기반 테스트를 선택합니다.

응답 생성에서 텍스트 생성 모델(예: Nova Lite)을 선택합니다.

와 같은 질문을 What are the pillars of the AWS Well-Architected Framework? 입력하고 실행을 선택합니다. Amazon S3 액세스 포인트의 소스 문서에 연결되는 인용 참조와 함께 답변이 표시됩니다.