Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Tutorial: Daten mithilfe von Amazon OpenSearch Ingestion in eine Domain aufnehmen

Dieses Tutorial zeigt Ihnen, wie Sie Amazon OpenSearch Ingestion verwenden, um eine einfache Pipeline zu konfigurieren und Daten in eine Amazon OpenSearch Service-Domain aufzunehmen. Eine Pipeline ist eine Ressource, die OpenSearch Ingestion bereitstellt und verwaltet. Sie können eine Pipeline verwenden, um Daten für nachgelagerte Analysen und Visualisierungen in OpenSearch Service zu filtern, anzureichern, zu transformieren, zu normalisieren und zu aggregieren.

Dieses Tutorial führt Sie durch die grundlegenden Schritte, um eine Pipeline schnell zum Laufen zu bringen. Umfassendere Anweisungen finden Sie unterPipelines erstellen.

In diesem Tutorial führen Sie die folgenden Schritte durch:

Im Rahmen des Tutorials erstellen Sie die folgenden Ressourcen:

Erforderliche Berechtigungen

Um dieses Tutorial abschließen zu können, muss Ihrem Benutzer oder Ihrer Rolle eine identitätsbasierte Richtlinie mit den folgenden Mindestberechtigungen angehängt sein. Diese Berechtigungen ermöglichen es Ihnen, eine Pipeline-Rolle zu erstellen und eine Richtlinie anzuhängen (iam:Create*undiam:Attach*), eine Domäne (es:*) zu erstellen oder zu ändern und mit Pipelines zu arbeiten (). osis:*

JSON

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Resource":"*",
         "Action":[
            "osis:*",
            "iam:Create*",
            "iam:Attach*",
            "es:*"
         ]
      },
      {
         "Resource":[
            "arn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole"
         ],
         "Effect":"Allow",
         "Action":[
            "iam:CreateRole",
            "iam:AttachPolicy",
            "iam:PassRole"
         ]
      }
   ]
}

Schritt 1: Erstellen Sie die Pipeline-Rolle

Erstellen Sie zunächst eine Rolle, die die Pipeline für den Zugriff auf die OpenSearch Service-Domänensenke übernimmt. Sie werden diese Rolle später in diesem Tutorial in die Pipeline-Konfiguration aufnehmen.

Merken Sie sich den Amazon-Ressourcennamen (ARN) der Rolle (z. B.arn:aws:iam::your-account-id:role/PipelineRole). Sie benötigen ihn, wenn Sie Ihre Pipeline erstellen.

Schritt 2: Erstellen Sie eine Domain

Erstellen Sie zunächst eine Domain mit dem Nameningestion-domain, in die Daten aufgenommen werden sollen.

Navigieren Sie zu https://console.aws.amazon.com/aos/Hause zur Amazon OpenSearch Service-Konsole und erstellen Sie eine Domain, die die folgenden Anforderungen erfüllt:

Die Domäne muss über eine Zugriffsrichtlinie verfügen, die Berechtigungen für die OpenSearchIngestion-PipelineRole IAM-Rolle gewährt. Diese wird vom OpenSearch Dienst im nächsten Schritt für Sie erstellt. Die Pipeline übernimmt diese Rolle, um Daten an die Domänensenke zu senden.

Stellen Sie sicher, dass die Domäne über die folgende Zugriffsrichtlinie auf Domänenebene verfügt, die der Pipeline-Rolle Zugriff auf die Domäne gewährt. Ersetzen Sie die Region und die Konto-ID durch Ihre eigene:

JSON

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:your-account-id:domain/ingestion-domain/*"
    }
  ]
}

Weitere Informationen zum Erstellen von Zugriffsrichtlinien auf Domänenebene finden Sie unter. Ressourcenbasierte Richtlinien

Wenn Sie bereits eine Domäne erstellt haben, ändern Sie deren bestehende Zugriffsrichtlinie, um die oben genannten Berechtigungen für bereitzustellen. OpenSearchIngestion-PipelineRole

Schritt 3: Erstellen Sie eine Pipeline

Jetzt, da Sie eine Domain haben, können Sie eine Pipeline erstellen.

Schritt 4: Nehmen Sie einige Beispieldaten auf

Wenn der Pipeline-Status lautetActive, können Sie damit beginnen, Daten in die Pipeline aufzunehmen. Sie müssen alle HTTP-Anfragen an die Pipeline mit Signature Version 4 signieren. Verwenden Sie ein HTTP-Tool wie Postman oder awscurl, um einige Daten an die Pipeline zu senden. Wie bei der direkten Indizierung von Daten in einer Domain erfordert die Aufnahme von Daten in eine Pipeline immer entweder eine IAM-Rolle oder einen IAM-Zugriffsschlüssel und einen geheimen Schlüssel.

Rufen Sie zunächst die Aufnahme-URL von der Seite mit den Pipeline-Einstellungen ab:

Nehmen Sie dann einige Beispieldaten auf. Die folgende Anfrage verwendet awscurl, um eine einzelne Protokolldatei an die Pipeline zu senden:

awscurl --service osis --region us-east-1 \
    -X POST \
    -H "Content-Type: application/json" \
    -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \
    https://pipeline-endpoint.us-east-1.osis.amazonaws.com/logs

Sie sollten eine 200 OK Antwort sehen. Wenn Sie einen Authentifizierungsfehler erhalten, liegt das möglicherweise daran, dass Sie Daten von einem anderen Konto als dem der Pipeline aufnehmen. Siehe Behebung von Problemen mit Berechtigungen.

Fragen Sie nun den application_logs Index ab, um sicherzustellen, dass Ihr Protokolleintrag erfolgreich aufgenommen wurde:

awscurl --service es --region us-east-1 \
     -X GET \
     https://search-ingestion-domain.us-east-1.es.amazonaws.com/application_logs/_search | json_pp

Beispielantwort:

{
   "took":984,
   "timed_out":false,
   "_shards":{
      "total":1,
      "successful":5,
      "skipped":0,
      "failed":0
   },
   "hits":{
      "total":{
         "value":1,
         "relation":"eq"
      },
      "max_score":1.0,
      "hits":[
         {
            "_index":"application_logs",
            "_type":"_doc",
            "_id":"z6VY_IMBRpceX-DU6V4O",
            "_score":1.0,
            "_source":{
               "time":"2014-08-11T11:40:13+00:00",
               "remote_addr":"122.226.223.69",
               "status":"404",
               "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1",
               "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)",
               "@timestamp":"2022-10-21T21:00:25.502Z"
            }
         }
      ]
   }
}

Behebung von Problemen mit Berechtigungen

Wenn Sie die Schritte im Tutorial befolgt haben und immer noch Authentifizierungsfehler auftreten, wenn Sie versuchen, Daten aufzunehmen, liegt das möglicherweise daran, dass sich die Rolle, die in eine Pipeline schreibt, in einer anderen Rolle befindet AWS-Konto als die Pipeline selbst. In diesem Fall müssen Sie eine Rolle erstellen und übernehmen, die Ihnen speziell das Ingestieren von Daten ermöglicht. Detaillierte Anweisungen finden Sie unter Bereitstellung von kontenübergreifendem Zugriff auf Datenerfassung.

Zugehörige Ressourcen

In diesem Tutorial wurde ein einfacher Anwendungsfall für die Aufnahme eines einzelnen Dokuments über HTTP vorgestellt. In Produktionsszenarien konfigurieren Sie Ihre Client-Anwendungen (wie Fluent Bit, Kubernetes oder OpenTelemetry Collector) so, dass Daten an eine oder mehrere Pipelines gesendet werden. Ihre Pipelines werden wahrscheinlich komplexer sein als das einfache Beispiel in diesem Tutorial.

Informationen zu den ersten Schritten zur Konfiguration Ihrer Clients und zur Datenaufnahme finden Sie in den folgenden Ressourcen: