Amazon OpenSearch Service 직접 쿼리 작업
Amazon OpenSearch Service 직접 쿼리를 사용하면 수집 파이프라인을 구축하지 않고도 Amazon CloudWatch Logs, Amazon S3 및 Amazon Security Lake의 데이터를 분석할 수 있습니다. 이 제로 ETL 통합은 OpenSearch SQL 또는 PPL을 사용하여 데이터를 쿼리하고 Discover에서 탐색할 수 있게 해줍니다.
시작하려면 OpenSearch Service 콘솔에서 데이터 소스를 구성합니다. Amazon S3의 경우 도메인 연결을 사용하고, Query Workbench에서 SQL을 사용하여 테이블을 생성합니다. CloudWatch Logs 및 Security Lake는 사전 구성된 소스와 AWS Glue Data Catalog 테이블을 사용합니다.
직접 쿼리 할당량
계정에는 OpenSearch Service 직접 쿼리와 관련하여 다음과 같은 할당량이 있습니다.
Amazon S3 할당량
Amazon S3 데이터 소스에 대한 쿼리를 시작할 때마다 OpenSearch Service는 세션을 열고 최소 3분 동안 활성 상태로 유지합니다. 이렇게 하면 후속 쿼리에서 세션을 시작할 필요가 없으므로 쿼리 지연 시간이 줄어듭니다.
| 설명 | Maximum | 재정의 가능 |
|---|---|---|
| 도메인당 연결 수 | 10 | 예 |
| 도메인당 데이터 소스 수 | 20 | 예 |
| 도메인당 인덱스 수 | 5 | 예 |
| 데이터 소스별 동시 세션 수 | 10 | 예 |
| 쿼리당 최대 OCU | 60 | 예 |
| 최대 쿼리 실행 시간(분) | 30 | 예 |
| 가속화당 최대 OCU | 20 | 예 |
| 최대 임시 스토리지 | 20 | 예 |
CloudWatch Logs에 대한 할당량
참고
CloudWatch Logs Insights를 사용하여 직접 쿼리를 수행하려는 경우 OpenSearch SQL을 사용하는 CloudWatch Logs Insights 사용자를 위한 추가 정보 섹션을 참조해야 합니다.
| 설명 | 값 | 소프트 한도란? | Notes |
|---|---|---|---|
| 직접 쿼리 API 전반의 계정 수준 TPS 한도 | 3TPS | 예 | |
| 최대 데이터 소스 수 | 20 | 예 | 한도는 AWS 계정당으로 적용됩니다. |
| 최대 자동 새로 고침 인덱스 또는 구체화된 뷰 | 30 | 예 | 한도는 데이터 소스당으로 적용됩니다. |
| 최대 동시 쿼리 수 | 15 | 예 |
한도는 보류 중이거나 실행 중인 상태의 쿼리에 적용됩니다. 대화형 쿼리(예: |
| 쿼리당 최대 동시 OCU | 512 | 예 |
OpenSearch 컴퓨팅 단위(OCU) 이벤트 한도는 각각 vCPU 16개와 32GB 메모리가 있는 실행기 15개와 드라이버 1개를 기준으로 합니다. 동시 처리 능력을 나타냅니다. |
| 최대 쿼리 실행 시간(분) | 60 | 아니요 | CloudWatch Logs Insights의 OpenSearch PPL/SQL 쿼리에는 한도가 적용됩니다. |
| 오래된 쿼리 ID를 제거하기 위한 기준이 되는 기간 | 90일 | 예 | OpenSearch Service가 이전 항목에 대한 쿼리 메타데이터를 제거하기 위한 기준이 되는 기간입니다. 예를 들어 90일이 지난 쿼리의 경우 GetDirectQuery 또는 GetDirectQueryResult 호출이 실패합니다. |
Security Lake 할당량
| 설명 | 값 | 소프트 한도란? | Notes |
|---|---|---|---|
| 직접 쿼리 API 전반의 계정 수준 TPS 한도 | 3TPS | 예 | |
| 최대 데이터 소스 수 | 20 | 예 | 한도는 AWS 계정당으로 적용됩니다. |
| 최대 자동 새로 고침 인덱스 또는 구체화된 뷰 | 30 | 예 |
데이터 소스당 한도가 적용됩니다. 자동 새로 고침이 true로 설정된 인덱스 및 구체화된 뷰(MV)만 포함합니다. |
| 최대 동시 쿼리 수 | 30 | 예 |
한도는 보류 중이거나 실행 중인 상태의 쿼리에 적용됩니다. 대화형 쿼리(예: |
| 쿼리당 최대 동시 OCU | 512 | 예 |
OpenSearch 컴퓨팅 단위(OCU) 이벤트 한도는 각각 vCPU 16개와 32GB 메모리가 있는 실행기 15개와 드라이버 1개를 기준으로 합니다. 동시 처리 능력을 나타냅니다. |
| 최대 쿼리 실행 시간(분) | 30 | 아니요 | 대화형 쿼리(예: SELECT와 같은 데이터 검색 명령)에만 적용됩니다. REFRESH 쿼리의 경우 한도는 6시간입니다. |
| 오래된 쿼리 ID를 제거하기 위한 기준이 되는 기간 | 90일 | 예 |
OpenSearch Service가 이전 항목에 대한 쿼리 메타데이터를 제거하기 위한 기준이 되는 기간입니다. 예를 들어 90일이 지난 쿼리의 경우 GetDirectQuery 또는 GetDirectQueryResult 호출이 실패합니다. |
지원되는 AWS 리전
Amazon S3, CloudWatch Logs 및 Security Lake의 OpenSearch Service 직접 쿼리는 다음 AWS 리전에서 지원됩니다.
Amazon S3를 사용 가능한 AWS 리전
-
아시아 태평양(홍콩)
-
아시아 태평양(뭄바이)
-
아시아 태평양(서울)
-
아시아 태평양(싱가포르)
-
아시아 태평양(시드니)
-
아시아 태평양(도쿄)
-
캐나다(중부)
-
유럽(프랑크푸르트)
-
유럽(아일랜드)
-
유럽(스톡홀름)
-
미국 동부(버지니아 북부)
-
미국 동부(오하이오)
-
미국 서부(오리건)
CloudWatch Logs를 사용 가능한 AWS 리전
-
아시아 태평양(뭄바이)
-
아시아 태평양(홍콩)
-
아시아 태평양(싱가포르)
-
아시아 태평양(시드니)
-
아시아 태평양(도쿄)
-
캐나다(중부)
-
유럽(프랑크푸르트)
-
유럽(아일랜드)
-
유럽(스톡홀름)
-
미국 동부(버지니아 북부)
-
미국 동부(오하이오)
-
미국 서부(오리건)
-
유럽(파리)
-
유럽(런던)
-
남아메리카(상파울루)
Security Lake를 사용 가능한 AWS 리전
-
아시아 태평양(뭄바이)
-
아시아 태평양(싱가포르)
-
아시아 태평양(시드니)
-
아시아 태평양(도쿄)
-
캐나다(중부)
-
유럽(프랑크푸르트)
-
유럽(아일랜드)
-
유럽(스톡홀름)
-
미국 동부(버지니아 북부)
-
미국 동부(오하이오)
-
미국 서부(오리건)
-
유럽(파리)
-
유럽(런던)
-
남아메리카(상파울루)