Utilisation d'un pipeline OpenSearch d'ingestion avec Fluent Bit - Amazon OpenSearch Service

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation d'un pipeline OpenSearch d'ingestion avec Fluent Bit

Cet exemple de fichier de configuration Fluent Bit envoie les données de journal de Fluent Bit à un pipeline d' OpenSearch ingestion. Pour plus d'informations sur l'ingestion des données de journal, consultez Log Analytics dans la documentation de Data Prepper.

Remarques :

  • La host valeur doit être le point de terminaison de votre pipeline. Par exemple, pipeline-endpoint.us-east-1osis.amazonaws.com.

  • La valeur aws_service doit être osis.

  • La aws_role_arn valeur est l'ARN du rôle AWS IAM que le client doit assumer et utiliser pour l'authentification Signature version 4.

[INPUT]
  name                  tail
  refresh_interval      5
  path                  /var/log/test.log
  read_from_head        true

[OUTPUT]
  Name http 
  Match *
  Host pipeline-endpoint.us-east-1osis.amazonaws.com
  Port 443
  URI /log/ingest
  Format json
  aws_auth true
  aws_region region
  aws_service osis
  aws_role_arn arn:aws:iam::account-id:role/ingestion-role
  Log_Level trace
  tls On

Vous pouvez ensuite configurer un pipeline d' OpenSearch ingestion comme celui-ci, dont la source est HTTP :

version: "2"
unaggregated-log-pipeline:
  source:
    http:
      path: "/log/ingest"
  processor:
    - grok:
        match:
          log:
            - "%{TIMESTAMP_ISO8601:timestamp} %{NOTSPACE:network_node} %{NOTSPACE:network_host} %{IPORHOST:source_ip}:%{NUMBER:source_port:int} -> %{IPORHOST:destination_ip}:%{NUMBER:destination_port:int} %{GREEDYDATA:details}"
    - grok:
        match:
          details:
            - "'%{NOTSPACE:http_method} %{NOTSPACE:http_uri}' %{NOTSPACE:protocol}"
            - "TLS%{NOTSPACE:tls_version} %{GREEDYDATA:encryption}"
            - "%{NUMBER:status_code:int} %{NUMBER:response_size:int}"
    - delete_entries:
        with_keys: ["details", "log"]

  sink:
    - opensearch:
        hosts: ["https://search-domain-endpoint.us-east-1es.amazonaws.com"]
        index: "index_name"
        index_type: custom
        bulk_size: 20
        aws:
          region: "region"