翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

チュートリアル: Amazon OpenSearch Ingestion を使用してドメインにデータを取り込む

このチュートリアルでは、Amazon OpenSearch Ingestion を使用してシンプルなパイプラインを設定し、Amazon OpenSearch Service ドメインにデータを取り込む方法を示します。パイプラインは、OpenSearch Ingestion がプロビジョニングおよび管理するリソースです。パイプラインを使用すると、OpenSearch Service におけるダウンストリームの分析とビジュアライゼーションのために、データのフィルタリング、強化、変換、正規化、集計を行うことができます。

このチュートリアルでは、パイプラインをすばやく起動するための基本的な手順を説明します。より包括的な手順については、「」を参照してくださいパイプラインの作成。

このチュートリアルでは、次の手順を実行します。

このチュートリアルでは、次のリソースを作成します。

必要なアクセス許可

このチュートリアルを完了するには、ユーザーまたはロールに、以下の最小限のアクセス許可を持つアイデンティティベースのポリシーがアタッチされている必要があります。これらのアクセス許可により、パイプラインロールの作成、ポリシーのアタッチ (iam:Create* および iam:Attach*）、ドメインの作成または変更 (es:*）、パイプラインの操作 () を行うことができますosis:*。

JSON

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Resource":"*",
         "Action":[
            "osis:*",
            "iam:Create*",
            "iam:Attach*",
            "es:*"
         ]
      },
      {
         "Resource":[
            "arn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole"
         ],
         "Effect":"Allow",
         "Action":[
            "iam:CreateRole",
            "iam:AttachPolicy",
            "iam:PassRole"
         ]
      }
   ]
}

ステップ 1: パイプラインロールを作成する

まず、OpenSearch Service ドメインのシンクにアクセスするために、パイプラインが引き受けるロールを作成します。これは、このチュートリアルの後半でパイプライン設定に含めます。

ロールの Amazon リソースネーム (ARN) (例: arn:aws:iam::your-account-id:role/PipelineRole) を覚えておいてください。これは、パイプラインを作成するときに必要です。

ステップ 2: ドメインを作成する

まず、 という名前のドメインを作成してデータingestion-domainを取り込みます。

Amazon OpenSearch Service コンソール (https://console.aws.amazon.com/aos/home) に移動し、次の要件を満たすドメインを作成します。

ドメインには、OpenSearch Service が次のステップで作成するアクセス許可を OpenSearchIngestion-PipelineRole IAM ロールに付与するアクセスポリシーが必要です。パイプラインは、ドメインシンクにデータを送信するためにこのロールを引き受けます。

ドメインに、パイプラインロールにドメインへのアクセスを許可する次のドメインレベルのアクセスポリシーがあることを確認します。リージョンとアカウント ID を自分のものに置き換えます。

JSON

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:your-account-id:domain/ingestion-domain/*"
    }
  ]
}

ドメインレベルのアクセスポリシーの作成の詳細については、「」を参照してくださいリソースベースのポリシー。

ドメインを既に作成済みの場合、その既存のアクセスポリシーを変更し、OpenSearchIngestion-PipelineRole に上記のアクセス許可を付与します。

ステップ 3: パイプラインを作成する

これでドメインが作成され、パイプラインを作成できます。

ステップ 4: サンプルデータを取り込む

パイプラインのステータスが Active になると、パイプラインへのデータの取り込みを開始できます。Signature Version 4 を使用して、パイプラインへのすべての HTTP リクエストに署名する必要があります。Postman や awscurl などの HTTP ツールを使用して、パイプラインにデータを送信します。データのインデックス作成をドメインに直接行う場合と同様に、パイプラインにデータを取り込むには、常に IAM ロールまたは IAM アクセスキーとシークレットキーのいずれかが必要です。

まず、[パイプライン設定] ページから取り込み URL を取得します。

次に、いくつかのサンプルデータを取り込みます。次のリクエストでは、awscurl を使用して 1 つのログファイルをパイプラインに送信します。

awscurl --service osis --region us-east-1 \
    -X POST \
    -H "Content-Type: application/json" \
    -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \
    https://pipeline-endpoint.us-east-1.osis.amazonaws.com/logs

200 OK というレスポンスが確認できるはずです。認証エラーが発生した場合は、パイプラインとは別のアカウントからデータを取り込んでいることが原因かもしれません。「アクセス許可に関する問題に対応する」を参照してください。

次に、application_logs インデックスにクエリを実行して、ログエントリが正常に取り込まれたことを確認します。

awscurl --service es --region us-east-1 \
     -X GET \
     https://search-ingestion-domain.us-east-1.es.amazonaws.com/application_logs/_search | json_pp

レスポンス例:

{
   "took":984,
   "timed_out":false,
   "_shards":{
      "total":1,
      "successful":5,
      "skipped":0,
      "failed":0
   },
   "hits":{
      "total":{
         "value":1,
         "relation":"eq"
      },
      "max_score":1.0,
      "hits":[
         {
            "_index":"application_logs",
            "_type":"_doc",
            "_id":"z6VY_IMBRpceX-DU6V4O",
            "_score":1.0,
            "_source":{
               "time":"2014-08-11T11:40:13+00:00",
               "remote_addr":"122.226.223.69",
               "status":"404",
               "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1",
               "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)",
               "@timestamp":"2022-10-21T21:00:25.502Z"
            }
         }
      ]
   }
}

アクセス許可に関する問題に対応する

チュートリアルのステップに従っても、データを取り込もうとしたときに認証エラーが表示される場合は、パイプラインに書き込むロールがパイプライン自体 AWS アカウント とは異なる にある可能性があります。この場合は、明確にデータの取り込みを可能にするロールを作成して引き受ける必要があります。手順については、「クロスアカウント取り込みアクセスの提供」を参照してください。

関連リソース

このチュートリアルでは、HTTP 経由で 1 つのドキュメントを取り込むというシンプルなユースケースを紹介しました。本番シナリオでは、1 つ以上のパイプラインにデータを送信するように、クライアントアプリケーション (Fluent Bit、Kubernetes、OpenTelemetry Collector など) を設定します。パイプラインは、このチュートリアルのシンプルな例よりも複雑になる可能性があります。

クライアントの設定とデータの取り込みを開始するには、次のリソースを参照してください。