View a markdown version of this page

パイプラインの作成 - Amazon CloudWatch
ログパイプラインの作成メトリクスパイプラインの作成

パイプラインの作成

CloudWatch パイプラインは、ログとメトリクスデータの両方のパイプライン作成をサポートします。次のセクションでは、各種パイプラインの作成方法について説明します。

ログパイプラインの作成

パイプライン設定ウィザードは、ログデータパイプラインの作成をガイドします。

  1. [全般設定] で、ソース名とタイプを含むデータソースの詳細を指定します。パイプラインタグとパイプラインの名前を指定することもできます。

  2. [送信先] で、送信先の詳細を指定します。ログパイプラインの場合、サポートされている送信先は CloudWatch Logs のみです。メトリクスパイプラインの場合、サポートされている送信先は CloudWatch Metrics のみです。

  3. [プロセッサ] で、必要なプロセッサとパーサーを追加します。パーサーは、特定のデータ型に必要な最初の工程を担います。Grok や CSV などのプロセッサを使用してカスタム解析を実行できます。ルックアッププロセッサを使用して、Amazon CloudWatch Logs ルックアップテーブルのデータでログイベントを強化できます。データ型でサポートされていないプロセッサは無効になっています。

    自然言語を使用してプロセッサを設定するには、[AI アシスト] トグルを有効にします。必要なログ変換の説明を入力すると、CloudWatch パイプラインによってプロセッサ設定が自動的に生成されます。AWS 提供のログでは、サンプルログイベントも生成されるため、デプロイ前に出力を検証できます。パイプラインを作成する前に、生成された設定を確認および編集できます。

    重要

    AI アシストプロセッサ設定を使用するには、logs:GeneratePipeline IAM アクセス許可が必要です。詳細については、「AI アシストプロセッサ設定のアクセス許可」を参照してください。

    when パラメータを使用して、サポートされているプロセッサに条件付き処理ルールを追加することもできます。条件付き処理を使用すると、プロセッサがどのログエントリを動作するかを制御できます。式の構文とサポートされているプロセッサについては、「条件付き処理の式構文」を参照してください。

    監査またはコンプライアンスの目的でログデータの未変更のコピーを保持するには、[元のログを保持する] トグルを有効にします。有効にすると、CloudWatch パイプラインは変換が行われる前に各 raw ログイベントのコピーを自動的にイベントの @original_message システムフィールドに保存します。これにより、プロセッサがログイベントを変更した後でも、元のデータが監査または調査で常に利用可能になります。[元のログを保持する] トグルは、CloudWatch 提供のログソースを持つパイプラインでのみ使用できます。

  4. [確認して作成] で、アラームの設定を確認します。設定に問題がなければ、[パイプラインの作成] を選択して、パイプラインリソースのデプロイと作成を開始します。ソースタイプによっては、パイプラインの作成完了に最大 5 分かかります。完了すると、取り込みコンソールの [パイプライン] タブが表示されます。

重要

パイプラインプロセッサの設定は、監査とコンプライアンスの目的で AWS CloudTrail イベントにログ記録されます。機密情報を保護するため、パスワード、API キー、またはその他の機密情報をプロセッサ設定に含めないでください。

メトリクスパイプラインの作成

メトリクスパイプラインを作成するには、CloudWatch コンソールまたは AWS CLI を使用します。メトリクスパイプラインを使用すると、CloudWatch メトリクスデータの処理、変換の適用、CloudWatch への処理済みメトリクスの転送が可能です。

メトリクスパイプラインを作成するには (コンソール)

CloudWatch コンソールでメトリクスパイプラインを作成するには、次の手順に従います。

  1. CloudWatch コンソールを開き、ナビゲーションペインで [取り込み]、[パイプライン] を選択します。

  2. パイプラインの作成 を選択します。

  3. ソースタイプで、[CloudWatch メトリクス (OTel)] を選択します。

  4. パイプラインが処理するメトリクスを指定するために選択基準を設定します。選択基準では、resource.attributes、metric.name、datapoint.attributes などの OTel 属性パスを使用します。すべての条件は AND セマンティクスを使用します (すべて一致する必要があります)。

  5. [プロセッサ] で、メトリクスデータを変換するために最大 20 個のプロセッサを追加します。

  6. [レビューと作成] で、アラームの設定を確認し、[パイプラインを作成] を選択します。

メトリクスパイプラインを作成するには (AWS CLI)

create-telemetry-pipeline コマンドを使用して、AWS CLI からメトリクスパイプラインを作成します。

aws observabilityadmin create-telemetry-pipeline \
    --pipeline-configuration-body file://config.yaml

次の例は、ソース、プロセッサ、シンクを使用してメトリクスパイプラインを定義する YAML 設定ファイルを示しています。

pipeline:
  source:
    cloudwatch_metrics:
      format: otlp
      selection_criteria:
        - match_all:
            - 'resource.attributes["service.name"] == "payment-service"'
            - 'metric.name == "http.server.request.duration"'
  processor:
    - add_attributes:
        attributes:
          - key: resource.attributes["team"]
            value: "platform-engineering"
  sink:
    - cloudwatch_metrics: {}

パイプラインが作成されると、次の形式で ARN が返されます。

arn:aws:observabilityadmin:region:accountId:telemetry-pipeline/pipelineID
注記

CloudWatch Metrics は、メトリクスパイプラインでサポートされている唯一の送信先です。

サポートされている API オペレーション

以下は、メトリクスパイプラインの管理に使用できる API オペレーションの一覧表です。

運用 説明
CreateTelemetryPipeline 新しいメトリクスパイプラインを作成します。
GetTelemetryPipeline 特定のメトリクスパイプラインに関する詳細を取得します。
ListTelemetryPipelines アカウント内のすべてのメトリクスパイプラインを一覧表示します。
DeleteTelemetryPipeline メトリクスパイプラインを削除します。
ValidateTelemetryPipelineConfiguration 作成前にパイプライン設定を検証します。
UpdateTelemetryPipeline 既存のメトリクスパイプライン設定を更新します。