Amazon OpenSearch Ingestion 파이프라인 생성

파이프라인은 Amazon OpenSearch Ingestion이 데이터를 소스(데이터의 출처)에서 싱크 (데이터가 이동하는 곳)로 이동하는 데 사용하는 메커니즘입니다. OpenSearch Ingestion에서 싱크는 항상 단일 Amazon OpenSearch Service 도메인이지만, 데이터 소스는 Amazon S3, Fluent Bit 또는 OpenTelemetry Collector와 같은 클라이언트일 수 있습니다.

자세한 내용은 OpenSearch 설명서의 파이프라인을 참조하세요.

사전 조건 및 필요한 IAM 역할

OpenSearch Ingestion 파이프라인을 생성하려면 다음과 같은 리소스가 있어야 합니다.

이러한 리소스를 만드는 방법 설명은 다음 주제를 참조하세요.

필수 IAM 권한

OpenSearch Ingestion은 다음 IAM 권한을 사용하여 파이프라인을 생성합니다.

예를 들어 다음 정책에서 파이프라인을 호출할 권한을 부여합니다.

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Resource":"*",
         "Action":[
            "osis:CreatePipeline",
            "osis:ListPipelineBlueprints",
            "osis:ValidatePipeline"
         ]
      },
      {
         "Resource":[
            "arn:aws:iam::your-account-id:role/pipeline-role"
         ],
         "Effect":"Allow",
         "Action":[
            "iam:CreateRole",
            "iam:AttachPolicy",
            "iam:PassRole"
         ]
      }
   ]
}

OpenSearch Ingestion에는 서명 버전 4를 사용하여 파이프라인에 서명된 요청을 보내는 데 필요한 osis:Ingest 권한도 포함되어 있습니다. 자세한 내용은 수집 역할 생성 단원을 참조하십시오.

각 권한에 대한 자세한 내용은 서비스 권한 부여 참조에서 OpenSearch Ingestion에 대한 작업, 리소스 및 조건 키에 대한 액션, 리소스 및 조건 키를 참조하세요.

파이프라인 버전 지정

구성 편집기를 사용하여 파이프라인을 생성할 때는 파이프라인이 실행될 Data Prepper의 메이저 버전을 지정해야 합니다. 버전을 지정하려면 파이프라인 구성에 version 옵션을 포함하세요.

version: "2"
log-pipeline:
  source:
    ...   

생성을 선택하면 OpenSearch Ingestion은 지정한 메이저 버전의 사용 가능한 최신 마이너 버전을 확인하고 해당 버전으로 파이프라인을 프로비저닝합니다. 예를 들어 version: "2"을 지정하고 Data Prepper의 최신 지원 버전이 2.1.1인 경우 OpenSearch Ingestion은 파이프라인을 버전 2.1.1로 프로비저닝합니다. 파이프라인이 실행 중인 마이너 버전은 공개적으로 표시하지 않습니다.

Data Prepper의 새 메이저 버전이 출시될 때 파이프라인을 업그레이드하려면 파이프라인 구성을 편집하고 새 버전을 지정하세요. 파이프라인을 이전 버전으로 다운그레이드할 수 없습니다.

블루/그린 배포를 시작하는 파이프라인을 변경할 때마다 OpenSearch Ingestion은 파이프라인에 대해 현재 구성된 메이저 버전의 최신 마이너 버전으로 업그레이드할 수 있습니다. 자세한 내용은 파이프라인 업데이트를 위한 블루/그린 배포 단원을 참조하십시오. OpenSearch Ingestion은 파이프라인 구성 내에서 version 옵션을 명시적으로 업데이트하지 않는 한 파이프라인의 메이저 버전을 변경할 수 없습니다.

수집 경로 지정

OTel 추적 및 oTel 지표와 같은 풀 기반 소스의 경우 OpenSearch Ingestion을 사용하려면 소스 구성에 path 옵션이 추가로 필요합니다. 경로는 수집을 위한 URI 경로를 나타내는 /log/ingest와 같은 문자열입니다. 이 경로는 파이프라인으로 데이터를 전송하는 데 사용하는 URI를 정의합니다.

예를 들어 HTTP 소스가 있는 파이프라인에 대해 다음 경로를 지정한다고 가정해 보겠습니다.

파이프라인으로 데이터를 수집할 때는 클라이언트 구성에서 https://pipeline-name-abc123.us-west-2.osis.amazonaws.com/my/test_path와 같은 엔드포인트를 지정해야 합니다.

경로는 슬래시(/) 로 시작해야 하며 특수 문자 '-', '_', '.', '/'를 비롯해 ${pipelineName} 자리 표시자를 포함할 수 있습니다. ${pipelineName} (예: /${pipelineName}/test_path)를 사용하는 경우 OpenSearch Ingestion은 변수를 연결된 하위 파이프라인의 이름으로 바꿉니다.

파이프라인 생성

이 섹션에서는 OpenSearch Service 콘솔 및 AWS CLI을 사용하여 OpenSearch Ingestion 파이프라인을 생성하는 방법을 설명합니다.

aws osis create-pipeline \
  --pipeline-name my-pipeline \
  --min-units 4 \
  --max-units 10 \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="MyLogGroup"} \
  --vpc-options SecurityGroupIds={sg-12345678,sg-9012345},SubnetIds=subnet-1212234567834asdf \
  --pipeline-configuration-body "file://pipeline-config.yaml" \
  --pipeline-role-arn  arn:aws:iam::1234456789012:role/pipeline-role

파이프라인이 성공적으로 생성되면 클라이언트를 구성하고 OpenSearch Service 도메인으로 데이터 수집을 시작할 수 있습니다. 자세한 내용은 Amazon OpenSearch Ingestion 파이프라인을 다른 서비스 및 애플리케이션과 통합 단원을 참조하십시오.

파이프라인 생성 상태 추적

OpenSearch Ingestion이 파이프라인을 프로비저닝하고 데이터 수집을 준비할 때 파이프라인의 상태를 추적할 수 있습니다.

aws osis get-pipeline-change-progress \
    --pipeline-name my-pipeline

{
   "ChangeProgressStatuses": {
      "ChangeProgressStages": [ 
         { 
            "Description": "Validating pipeline configuration",
            "LastUpdated": 1.671055851E9,
            "Name": "VALIDATION",
            "Status": "PENDING"
         }
      ],
      "StartTime": 1.671055851E9,
      "Status": "PROCESSING",
      "TotalNumberOfStages": 5
   }
}