및 Neo4j를 사용한 지식 그래프 AWS 및 GraphRAG

정형, 비정형 및 반정형 데이터는 Amazon Redshift, Amazon Simple Storage Service(Amazon S3) 및 Amazon Managed Streaming for Apache Kafka(Amazon MSK)를 비롯한 다양한 시스템에 존재합니다. 와 같은 통합 계층을 통해 다른 시스템에 액세스할 수 있습니다AWS Glue. 이 데이터의 일부 하위 집합은 고도로 연결되어 있습니다. 인사이트는 그래프로 모델링하여 찾을 수 있습니다.

Amazon SageMaker AI에서 실행되는 스크립트는 이러한 소스 시스템에서 연결된 데이터를 가져옵니다.

SageMaker AI에서 데이터가 LangChain에서 관리하는 Amazon Bedrock 프로세스로 전달됩니다. 대규모 언어 모델(LLMs 개체를 추출하고 Neo4j 쿼리 언어인 Cypher로 결과를 포맷합니다. SageMaker AI는 해당 Cypher를 Neo4j 드라이버에 전달합니다.

추출된 데이터 및 엔터티를 래핑하는 사이퍼 문은 Neo4j 그래프 데이터베이스에 공급되어 지식 그래프를 생성합니다. 그래프 데이터베이스는에서 실행되는 Neo4j SaaS인 Neo4j AuraDB의 한 구성 요소입니다 AWS.

사용자는 그래프용으로 특별히 설계된 BI 도구인 Neo4j Bloom에서 결과 지식 그래프를 탐색할 수 있습니다.

Neo4j Graph Data Science로 보강을 수행할 수 있습니다. 개체 확인 알고리즘은 중복 항목을 해결합니다. 커뮤니티 감지 알고리즘을 사용하여 클러스터를 식별하고 GraphRAG에 대한 로컬 클러스터 요약을 생성할 수 있습니다. 그래프 임베딩 알고리즘은 GraphRAG에 대해 토폴로지상 유사한 개체를 매핑하고 식별하는 데 도움이 됩니다.

지식 그래프를 생성하면 애플리케이션은 GraphRAG 아키텍처에서 해당 그래프를 사용하여 대체 접근 방식보다 적은 할루시네이션으로 근거 있는 결과를 제공할 수 있습니다. 이러한 애플리케이션은 , AWS Lambda Amazon Elastic Compute Cloud(Amazon EC2) 및 Amazon Elastic Kubernetes Service(Amazon EKS)를 비롯한 다양한 AWS 플랫폼에서 실행할 수 있습니다.

클라이언트 애플리케이션은 SageMaker AI에서 호스팅되는 함수를 호출할 수 있습니다. 이러한 함수는 Amazon Bedrock을 쿼리합니다.

Amazon Bedrock 응답은 더 광범위한 엔터프라이즈에서 수집된 데이터와 함께 Neo4j 그래프 데이터베이스를 사용하여 근거가 됩니다. 그래프를 근거에 사용하면 벡터 RAG 접근 방식에 그래프 구조를 사용하여 응답을 개선할 수 있는 추가 기능이 제공됩니다.