Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Direktes Abfragen von Amazon S3 S3-Daten im Service OpenSearch Dieser Abschnitt führt Sie durch den Prozess der Erstellung und Konfiguration einer Datenquellenintegration in Amazon OpenSearch Service, sodass Sie Ihre in Amazon S3 gespeicherten Daten effizient abfragen und analysieren können. Auf den folgenden Seiten erfahren Sie, wie Sie eine Amazon S3 S3-Datenquelle für direkte Abfragen einrichten, sich mit den erforderlichen Voraussetzungen vertraut machen und die step-by-step Verfahren sowohl mit der als auch mit der AWS-Managementkonsole OpenSearch Service-API befolgen. Außerdem werden wichtige nächste Schritte behandelt, darunter die Zuordnung von AWS Glue Data Catalog Rollen und die Konfiguration der Zugriffskontrollen in OpenSearch Dashboards. **Topics** + [Erstellen einer Amazon S3 S3-Datenquellenintegration in OpenSearch Service](direct-query-s3-creating.md) + [Konfiguration und Abfrage einer S3-Datenquelle in Dashboards OpenSearch](direct-query-s3-configure.md) + [Preisgestaltung](#direct-query-s3-pricing) + [Einschränkungen](#direct-query-s3-limitations) + [Empfehlungen](#direct-query-s3-recommendations) + [Kontingente](#direct-query-s3-quotas) + [Unterstützt AWS-Regionen](#direct-query-s3-regions) # Erstellen einer Amazon S3 S3-Datenquellenintegration in OpenSearch Service Sie können eine neue Amazon S3 S3-Direktabfrage-Datenquelle für OpenSearch Service über die AWS-Managementkonsole oder die API erstellen. Jede neue Datenquelle verwendet die, um Tabellen AWS Glue Data Catalog zu verwalten, die Amazon S3 S3-Buckets darstellen. **Topics** + [Voraussetzungen](#direct-query-s3-prereq) + [Verfahren](#direct-query-s3-create) + [Nächste Schritte](#direct-query-s3-next-steps) + [Ordnen Sie die Rolle zu AWS Glue Data Catalog](#direct-query-s3-permissions) + [Weitere Ressourcen](#direct-query-s3-additional-resources) ## Voraussetzungen Bevor Sie beginnen, stellen Sie sicher, dass Sie die folgende Dokumentation gelesen haben: + [Einschränkungen](direct-query-s3-overview.md#direct-query-s3-limitations) + [Empfehlungen](direct-query-s3-overview.md#direct-query-s3-recommendations) + [Kontingente](direct-query-s3-overview.md#direct-query-s3-quotas) Bevor Sie eine Datenquelle erstellen können, müssen Sie über die folgenden Ressourcen verfügen AWS-Konto: + **Eine OpenSearch Domäne mit Version 2.13 oder höher.** Dies ist die Grundlage für die Einrichtung der Direct Query Integration. Anweisungen zur Einrichtung finden Sie unter[OpenSearch Dienstdomänen erstellen](createupdatedomains.md#createdomains). + **Ein oder mehrere S3-Buckets.** Sie müssen die Buckets angeben, die Daten enthalten, die Sie abfragen möchten, und einen Bucket, in dem Ihre Abfrage-Checkpoints gespeichert werden sollen. Anweisungen zum Erstellen eines S3-Buckets finden Sie unter [Erstellen eines Buckets](https://docs.aws.amazon.com/AmazonS3/latest/userguide/create-bucket-overview.html) im Amazon S3 S3-Benutzerhandbuch. + **(Optional) Eine oder mehrere AWS Glue Tabellen.**Um Daten auf Amazon S3 abzufragen, müssen Sie Tabellen eingerichtet haben, die AWS Glue Data Catalog auf die S3-Daten verweisen. Sie müssen die Tabellen mit OpenSearch Query Workbench erstellen. Bestehende Hive-Tabellen sind nicht kompatibel. Wenn Sie zum ersten Mal eine Amazon S3 S3-Datenquelle einrichten, müssen Sie eine Admin-Datenquelle erstellen, um all Ihre AWS Glue Data Catalog Tabellen zu konfigurieren. Sie können dies tun, indem Sie OpenSearch out-of-the-box Integrationen installieren oder OpenSearch Query Workbench verwenden, um benutzerdefinierte SQL-Tabellen für erweiterte Anwendungsfälle zu erstellen. Beispiele zum Erstellen von Tabellen für VPC CloudTrail - und AWS WAF-Protokolle finden Sie in der Dokumentation GitHub für [VPC](https://github.com/opensearch-project/opensearch-catalog/blob/main/integrations/observability/amazon_vpc_flow/assets/create_table_vpc_schema-1.0.0.sql), [CloudTrail](https://github.com/opensearch-project/opensearch-catalog/blob/main/integrations/observability/aws_cloudtrail/assets/create_table_cloud-trail-records-1.0.0.sql)und. [AWS WAF](https://github.com/opensearch-project/opensearch-catalog/blob/main/integrations/observability/aws_waf/assets/create_table-1.0.0.sql) Nachdem Sie Ihre Tabellen erstellt haben, können Sie neue Amazon S3 S3-Datenquellen erstellen und den Zugriff auf eingeschränkte Tabellen einschränken. + **(Optional) Eine manuell erstellte IAM-Rolle.**Sie können diese Rolle verwenden, um den Zugriff auf Ihre Datenquelle zu verwalten. Alternativ können Sie OpenSearch Service automatisch eine Rolle mit den erforderlichen Berechtigungen für Sie erstellen lassen. Wenn Sie eine manuell erstellte IAM-Rolle verwenden möchten, folgen Sie den Anweisungen unter[Erforderliche Berechtigungen für manuell erstellte IAM-Rollen](#direct-query-s3-additional-resources-required-permissions). ## Verfahren Sie können eine Datenquelle für direkte Abfragen in einer Domain mit der AWS-Managementkonsole oder der OpenSearch Service-API einrichten. ### Um eine Datenquelle mit dem einzurichten AWS-Managementkonsole 1. Navigieren Sie zur Amazon OpenSearch Service-Konsole unter[https://console.aws.amazon.com/aos/](https://console.aws.amazon.com/aos/). 1. Wählen Sie im linken Navigationsbereich die Option **Domains** aus. 1. Wählen Sie die Domain aus, für die Sie eine neue Datenquelle einrichten möchten. Dadurch wird die Detailseite der Domain geöffnet. 1. Wählen Sie die Registerkarte **Verbindungen** unter den allgemeinen Domänendetails und suchen Sie den Abschnitt **Direkte Abfrage**. 1. Wählen **Sie Datenquelle konfigurieren aus**. 1. Geben Sie einen Namen und eine optionale Beschreibung für Ihre neue Datenquelle ein. 1. Wählen Sie **Amazon S3 mit AWS Glue Data Catalog**. 1. Wählen Sie unter **Einstellungen für den Zugriff auf IAM-Berechtigungen** aus, wie der Zugriff verwaltet werden soll. 1. Gehen Sie folgendermaßen vor, wenn Sie automatisch eine Rolle für diese Datenquelle erstellen möchten: 1. Wählen Sie **Neue Rolle erstellen** aus. 1. Geben Sie einen Namen für die IAM-Rolle ein. 1. Wählen Sie einen oder mehrere S3-Buckets aus, die Daten enthalten, die Sie abfragen möchten. 1. Wählen Sie einen Checkpoint-S3-Bucket aus, in dem Abfrage-Checkpoints gespeichert werden sollen. 1. Wählen Sie eine oder mehrere AWS Glue Datenbanken oder Tabellen aus, um zu definieren, welche Daten abgefragt werden können. Wenn noch keine Tabellen erstellt wurden, gewähren Sie Zugriff auf die Standarddatenbank. 1. Wenn Sie eine bestehende Rolle verwenden möchten, die Sie selbst verwalten, gehen Sie wie folgt vor: 1. Wählen Sie **Eine vorhandene Rolle verwenden** aus. 1. Wählen Sie eine bestehende Rolle aus dem Drop-down-Menü aus. **Anmerkung** Wenn Sie Ihre eigene Rolle verwenden, müssen Sie sicherstellen, dass sie über alle erforderlichen Berechtigungen verfügt, indem Sie die erforderlichen Richtlinien von der IAM-Konsole aus anhängen. Weitere Informationen finden Sie in der Beispielrichtlinie unter. [Erforderliche Berechtigungen für manuell erstellte IAM-Rollen](#direct-query-s3-additional-resources-required-permissions) 1. Wählen Sie **Konfigurieren** aus. Dadurch wird der Bildschirm mit den Datenquellendetails mit einer OpenSearch Dashboard-URL geöffnet. Sie können zu dieser URL navigieren, um die nächsten Schritte abzuschließen. ### OpenSearch Service-API Verwenden Sie den [AddDataSource](https://docs.aws.amazon.com/opensearch-service/latest/APIReference/API_AddDataSource.html)API-Vorgang, um eine neue Datenquelle in Ihrer Domain zu erstellen. ``` POST https://es.region.amazonaws.com/2021-01-01/opensearch/domain/domain-name/dataSource { "DataSourceType": { "S3GlueDataCatalog": { "RoleArn": "arn:aws:iam::account-id:role/role-name" } } "Description": "data-source-description", "Name": "my-data-source" } ``` ## Nächste Schritte ### Besuchen Sie OpenSearch Dashboards Nachdem Sie eine Datenquelle erstellt haben, stellt Ihnen OpenSearch Service einen Link zu OpenSearch Dashboards zur Verfügung. Sie können damit die Zugriffskontrolle konfigurieren, Tabellen definieren, out-of-the-box Integrationen installieren und Ihre Daten abfragen. Weitere Informationen finden Sie unter [Konfiguration und Abfrage einer S3-Datenquelle in Dashboards OpenSearch](direct-query-s3-configure.md). ## Ordnen Sie die Rolle zu AWS Glue Data Catalog Wenn Sie nach dem Erstellen einer Datenquelle eine [differenzierte Zugriffskontrolle](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/fgac.html) aktiviert haben, müssen Sie Benutzer ohne Administratorrechte einer IAM-Rolle mit AWS Glue Data Catalog Zugriff zuordnen, um direkte Abfragen ausführen zu können. Gehen Sie wie folgt vor, um manuell eine `glue_access` Back-End-Rolle zu erstellen, die Sie der IAM-Rolle zuordnen können: **Anmerkung** Indizes werden für alle Abfragen der Datenquelle verwendet. Ein Benutzer mit Lesezugriff auf den Anforderungsindex für eine bestimmte Datenquelle kann *alle* Abfragen für diese Datenquelle lesen. Ein Benutzer mit Lesezugriff auf den Ergebnisindex kann Ergebnisse für *alle* Abfragen dieser Datenquelle lesen. 1. Wählen Sie im Hauptmenü der OpenSearch Dashboards **Sicherheit**, **Rollen** und **Rollen erstellen** aus. 1. Nennen Sie die Rolle **glue\$1access**. 1. Wählen Sie für **Clusterberechtigungen**,`indices:data/write/bulk*`, `indices:data/read/scroll` aus. `indices:data/read/scroll/clear` 1. Geben Sie für **Index** die folgenden Indizes ein, auf die Sie dem Benutzer mit der Rolle Zugriff gewähren möchten: + `.query_execution_request_` + `query_execution_result_` + `.async-query-scheduler` + `flint_*` 1. Wählen Sie für **Indexberechtigungen** die Option aus`indices_all`. 1. Wählen Sie **Erstellen** aus. 1. Wählen Sie **Zugeordnete Benutzer**, **Mapping verwalten**. 1. Fügen Sie unter **Backend-Rollen** den ARN der AWS Glue Rolle hinzu, für die eine Berechtigung zum Aufrufen Ihrer Domain erforderlich ist. ``` arn:aws:iam::account-id:role/role-name ``` 1. Wählen Sie **Map** aus und vergewissern Sie sich, dass die Rolle unter **Zugeordnete** Benutzer angezeigt wird. Weitere Informationen zum Zuordnen von Rollen finden Sie unter[Rollen an Benutzer zuweisen](fgac.md#fgac-mapping). ## Weitere Ressourcen ### Erforderliche Berechtigungen für manuell erstellte IAM-Rollen Wenn Sie eine Datenquelle für Ihre Domain erstellen, wählen Sie eine IAM-Rolle aus, um den Zugriff auf Ihre Daten zu verwalten. Sie haben zwei Optionen: 1. Erstellen Sie automatisch eine neue IAM-Rolle 1. Verwenden Sie eine vorhandene IAM-Rolle, die Sie manuell erstellt haben Wenn Sie eine manuell erstellte Rolle verwenden, müssen Sie der Rolle die richtigen Berechtigungen zuordnen. Die Berechtigungen müssen den Zugriff auf die spezifische Datenquelle ermöglichen und es dem OpenSearch Service ermöglichen, die Rolle zu übernehmen. Dies ist erforderlich, damit der OpenSearch Dienst sicher auf Ihre Daten zugreifen und mit ihnen interagieren kann. Die folgende Beispielrichtlinie zeigt die Berechtigungen mit den geringsten Rechten, die zum Erstellen und Verwalten einer Datenquelle erforderlich sind. Wenn Sie über umfassendere Berechtigungen verfügen, wie z. `s3:*` B. die `AdminstratorAccess` Richtlinie, umfassen diese Berechtigungen die Berechtigungen mit den geringsten Rechten in der Beispielrichtlinie. Ersetzen Sie in der folgenden Beispielrichtlinie die durch Ihre eigenen *placeholder text * Informationen. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement":[ { "Sid":"HttpActionsForOpenSearchDomain", "Effect":"Allow", "Action":"es:ESHttp*", "Resource":"arn:aws:es:us-east-1:111122223333:domain/example.com/*" }, { "Sid":"AmazonOpenSearchS3GlueDirectQueryReadAllS3Buckets", "Effect":"Allow", "Action":[ "s3:GetObject", "s3:GetObjectVersion", "s3:ListBucket" ], "Condition":{ "StringEquals":{ "aws:ResourceAccount":"111122223333" } }, "Resource":"*" }, { "Sid":"AmazonOpenSearchDirectQueryGlueCreateAccess", "Effect":"Allow", "Action":[ "glue:CreateDatabase", "glue:CreatePartition", "glue:CreateTable", "glue:BatchCreatePartition" ], "Resource":"*" }, { "Sid":"AmazonOpenSearchS3GlueDirectQueryModifyAllGlueResources", "Effect":"Allow", "Action":[ "glue:DeleteDatabase", "glue:DeletePartition", "glue:DeleteTable", "glue:GetDatabase", "glue:GetDatabases", "glue:GetPartition", "glue:GetPartitions", "glue:GetTable", "glue:GetTableVersions", "glue:GetTables", "glue:UpdateDatabase", "glue:UpdatePartition", "glue:UpdateTable", "glue:BatchGetPartition", "glue:BatchDeletePartition", "glue:BatchDeleteTable" ], "Resource":[ "arn:aws:glue:us-east-1:111122223333:table/*", "arn:aws:glue:us-east-1:111122223333:database/*", "arn:aws:glue:us-east-1:111122223333:catalog", "arn:aws:es:us-east-1:111122223333:domain/domain_name" ], "Condition":{ "StringEquals":{ "aws:ResourceAccount":"111122223333" } } }, { "Sid":"ReadAndWriteActionsForS3CheckpointBucket", "Effect":"Allow", "Action":[ "s3:ListMultipartUploadParts", "s3:DeleteObject", "s3:GetObject", "s3:PutObject", "s3:GetBucketLocation", "s3:ListBucket" ], "Condition":{ "StringEquals":{ "aws:ResourceAccount":"111122223333" } }, "Resource":[ "arn:aws:s3:::amzn-s3-demo-bucket", "arn:aws:s3:::amzn-s3-demo-bucket/*" ] } ] } ``` ------ Um Amazon S3 S3-Buckets in verschiedenen Konten zu unterstützen, müssen Sie eine Bedingung in die Amazon S3 S3-Richtlinie aufnehmen und das entsprechende Konto hinzufügen. Ersetzen Sie im folgenden Beispielzustand die *placeholder text * durch Ihre eigenen Informationen. ``` "Condition": { "StringEquals": { "aws:ResourceAccount": "{{accountId}}" } ``` Die Rolle muss außerdem über die folgende Vertrauensrichtlinie verfügen, in der die Ziel-ID angegeben ist. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement":[ { "Effect":"Allow", "Principal":{ "Service": "directquery.opensearchservice.amazonaws.com" }, "Action":"sts:AssumeRole" } ] } ``` ------ Anleitungen zum Erstellen der Rolle finden Sie unter [Erstellen einer Rolle mit benutzerdefinierten Vertrauensrichtlinien](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-custom.html). Wenn Sie in OpenSearch Service eine differenzierte Zugriffskontrolle aktiviert haben, wird automatisch eine neue OpenSearch differenzierte Zugriffssteuerungsrolle für Ihre Datenquelle erstellt. Der Name der neuen detaillierten Zugriffskontrollrolle lautet. `AWS OpenSearchDirectQuery ` Standardmäßig hat die Rolle nur Zugriff auf Datenquellenindizes für direkte Abfragen. Sie können die Rolle zwar so konfigurieren, dass der Zugriff auf Ihre Datenquelle eingeschränkt oder gewährt wird, es wird jedoch empfohlen, den Zugriff dieser Rolle nicht anzupassen. **Wenn Sie die Datenquelle löschen, wird diese Rolle gelöscht**. Dadurch wird allen anderen Benutzern der Zugriff entzogen, sofern sie der Rolle zugeordnet sind. # Konfiguration und Abfrage einer S3-Datenquelle in Dashboards OpenSearch Nachdem Sie Ihre Datenquelle erstellt haben, können Sie Sicherheitseinstellungen konfigurieren, Ihre Amazon S3 S3-Tabellen definieren oder eine beschleunigte Datenindizierung einrichten. In diesem Abschnitt werden Sie durch verschiedene Anwendungsfälle mit Ihrer Datenquelle in OpenSearch Dashboards geführt, bevor Sie Ihre Daten abfragen. Um die folgenden Abschnitte zu konfigurieren, müssen Sie zunächst in OpenSearch Dashboards zu Ihrer Datenquelle navigieren. Wählen Sie in der linken Navigationsleiste unter **Verwaltung** die Option **Datenquellen** aus. Wählen Sie unter **Datenquellen verwalten** den Namen der Datenquelle aus, die Sie in der Konsole erstellt haben. ## Erstellen Sie Spark-Tabellen mit Query Workbench Direkte Abfragen von OpenSearch Service an Amazon S3 verwenden Spark-Tabellen innerhalb von AWS Glue Data Catalog. Sie können Tabellen in der Query Workbench erstellen, ohne die OpenSearch Dashboards verlassen zu müssen. Um bestehende Datenbanken und Tabellen in Ihrer Datenquelle zu verwalten oder neue Tabellen zu erstellen, für die Sie direkte Abfragen verwenden möchten, wählen Sie **Query Workbench** aus der linken Navigationsleiste und wählen Sie die Amazon S3 S3-Datenquelle aus der Dropdownliste Datenquelle aus. Führen Sie die folgende Abfrage aus, um eine Tabelle für in S3 gespeicherte VPC Flow-Protokolle im Parquet-Format einzurichten: ``` CREATE TABLE datasourcename.gluedatabasename.vpclogstable (version INT, account_id STRING, interface_id STRING, srcaddr STRING, dstaddr STRING, srcport INT, dstport INT, protocol INT, packets BIGINT, bytes BIGINT, start BIGINT, end BIGINT, action STRING, log_status STRING, `aws-account-id` STRING, `aws-service` STRING, `aws-region` STRING, year STRING, month STRING, day STRING, hour STRING) USING parquet PARTITIONED BY (aws-account-id, aws-service, aws-region, year, month, day, hour) LOCATION "s3://accountnum-vpcflow/AWSLogs" ``` Führen Sie nach dem Erstellen der Tabelle die folgende Abfrage aus, um sicherzustellen, dass sie mit direkten Abfragen kompatibel ist: ``` MSCK REPAIR TABLE datasourcename.databasename.vpclogstable ``` ## Richten Sie Integrationen für beliebte AWS Protokolltypen ein Sie können in Amazon S3 gespeicherte AWS Protokolltypen in OpenSearch Service integrieren. Verwenden Sie OpenSearch Dashboards, um Integrationen zu installieren, die AWS Glue Data Catalog Tabellen, gespeicherte Abfragen und Dashboards erstellen. Diese Integrationen verwenden indizierte Ansichten, um die Dashboards auf dem neuesten Stand zu halten. Anweisungen zur Installation einer Integration finden Sie in der Dokumentation unter [Installation eines Integrations-Assets](https://opensearch.org/docs/latest/integrations/#installing-an-integration-asset). OpenSearch Wenn Sie eine Integration auswählen, stellen Sie sicher, dass sie über das `S3 Glue` Tag verfügt. Wenn Sie die Integration einrichten, geben Sie **S3 Connection** als Verbindungstyp an. Wählen Sie dann die Datenquelle für die Integration, den Amazon S3 S3-Speicherort der Daten, den Checkpoint für die Verwaltung der Beschleunigungsindizierung und die für Ihren Anwendungsfall erforderlichen Ressourcen aus. **Anmerkung** Stellen Sie sicher, dass der S3-Bucket für Ihren Checkpoint über Schreibberechtigungen für den Checkpoint-Standort verfügt. Ohne diese Berechtigungen schlagen die Beschleunigungen der Integration fehl. ## Einrichten der Zugriffssteuerung Suchen Sie auf der Detailseite für Ihre Datenquelle den Abschnitt **Zugriffskontrollen** und wählen Sie **Bearbeiten** aus. Wenn für die Domain eine differenzierte Zugriffskontrolle aktiviert ist, wählen Sie **Eingeschränkt** aus und wählen Sie aus, welchen Rollen Sie Zugriff auf die neue Datenquelle gewähren möchten. Sie können auch **Nur Administrator** wählen, wenn Sie möchten, dass der Administrator nur Zugriff auf die Datenquelle hat. **Wichtig** Indizes werden für alle Abfragen der Datenquelle verwendet. Ein Benutzer mit Lesezugriff auf den Anforderungsindex für eine bestimmte Datenquelle kann *alle* Abfragen für diese Datenquelle lesen. Ein Benutzer mit Lesezugriff auf den Ergebnisindex kann Ergebnisse für *alle* Abfragen dieser Datenquelle lesen. ## Abfragen von S3-Daten in Discover OpenSearch Nachdem Sie Ihre Tabellen eingerichtet und die gewünschte optionale Abfragebeschleunigung konfiguriert haben, können Sie mit der Analyse Ihrer Daten beginnen. Um Ihre Daten abzufragen, wählen Sie Ihre Datenquelle aus dem Drop-down-Menü aus. Wenn Sie Amazon S3 und OpenSearch Dashboards verwenden, gehen Sie zu Discover und wählen Sie den Namen der Datenquelle aus. Wenn Sie einen Skipping-Index verwenden oder noch keinen Index erstellt haben, können Sie SQL oder PPL verwenden, um Ihre Daten abzufragen. Wenn Sie eine materialisierte Ansicht oder einen Deckindex konfiguriert haben, verfügen Sie bereits über einen Index und können die Dashboards Query Language (DQL) in allen Dashboards verwenden. Sie können PPL auch mit dem Observability-Plugin und SQL mit dem Query Workbench-Plugin verwenden. Derzeit unterstützen nur die Plugins Observability und Query Workbench PPL und SQL. [Informationen zum Abfragen von Daten mithilfe der OpenSearch Service-API finden Sie in der Async-API-Dokumentation.](https://github.com/opensearch-project/sql/blob/main/docs/user/interfaces/asyncqueryinterface.rst) **Anmerkung** Nicht alle SQL- und PPL-Anweisungen, Befehle und Funktionen werden unterstützt. Eine Liste der unterstützten Befehle finden Sie unter[Unterstützte SQL- und PPL-Befehle](direct-query-supported-commands.md). Wenn Sie eine materialisierte Ansicht oder einen umfassenden Index erstellt haben, können Sie Ihre Daten mithilfe von DQL abfragen, sofern Sie sie darin indexiert haben. ## Fehlerbehebung Es kann vorkommen, dass die Ergebnisse nicht wie erwartet zurückgegeben werden. Wenn Sie Probleme haben, stellen Sie sicher, dass Sie die befolgen[Empfehlungen](direct-query-s3-overview.md#direct-query-s3-recommendations). ## Preisgestaltung Amazon OpenSearch Service bietet OpenSearch Compute Unit (OCU) -Preise für Amazon S3 S3-Direktabfragen an. Wenn Sie direkte Abfragen ausführen, fallen Gebühren OCUs pro Stunde an, die auf Ihrer Rechnung als DirectQuery OCU-Nutzungsart aufgeführt sind. Für die Datenspeicherung fallen außerdem separate Gebühren von Amazon S3 an. Es gibt zwei Arten von direkten Abfragen: interaktive Abfragen und Abfragen mit indizierter Ansicht. + *Interaktive Abfragen* werden verwendet, um die Datenauswahl zu füllen und Analysen Ihrer Daten in Amazon S3 durchzuführen. Wenn Sie eine neue Abfrage von Discover aus ausführen, startet OpenSearch Service eine neue Sitzung, die mindestens drei Minuten dauert. OpenSearch Der Dienst hält diese Sitzung aktiv, um sicherzustellen, dass nachfolgende Abfragen schnell ausgeführt werden. + *Abfragen mit indizierten Ansichten* verwenden Compute, um indizierte Ansichten im OpenSearch Service zu verwalten. Diese Abfragen dauern normalerweise länger, da sie eine unterschiedliche Datenmenge in einen benannten Index aufnehmen. Bei Amazon S3 S3-Datenquellen werden die indizierten Daten in einer Domain gespeichert, die auf einem gekauften Instance-Typ basiert. Weitere Informationen finden Sie in den Abschnitten Direct Query und Serverless unter [Amazon OpenSearch Service Pricing](https://aws.amazon.com/opensearch-service/pricing/). ## Einschränkungen Die folgenden Einschränkungen gelten für direkte Abfragen in Amazon S3: + Direct Query für S3 ist nur für OpenSearch Service-Domains verfügbar, auf denen OpenSearch Version 2.13 oder höher ausgeführt wird, und erfordert Zugriff AWS Glue Data Catalog auf. Bestehende AWS Glue Data Catalog Tabellen müssen mit SQL in OpenSearch Query Workbench neu erstellt werden. + Bei Direct Query for S3 müssen Sie einen Checkpoint-Bucket auf Amazon S3 angeben. In diesem Bucket wird der Status Ihrer indizierten Ansichten beibehalten, einschließlich der letzten Aktualisierungszeit und der zuletzt aufgenommenen Daten. + Ihre OpenSearch Domain und AWS Glue Data Catalog müssen sich in derselben befinden. AWS-Konto Ihr S3-Bucket kann sich in einem anderen Konto befinden (erfordert, dass die Bedingung zu Ihrer IAM-Richtlinie hinzugefügt wird), muss sich aber in derselben Domain befinden AWS-Region wie Ihre Domain. + OpenSearch Direkte Serviceabfragen mit S3 unterstützen nur Spark-Tabellen, die mit Query Workbench generiert wurden. In AWS Glue Data Catalog oder Athena generierte Tabellen werden vom Spark-Streaming nicht unterstützt, das für die Verwaltung indizierter Ansichten erforderlich ist. + OpenSearch Instance-Typen haben Netzwerknutzlastbeschränkungen von entweder 10 MiB oder 100 MiB, je nachdem, welchen Instance-Typ Sie wählen. + Einige Datentypen werden nicht unterstützt. Die unterstützten Datentypen sind auf Parquet, CSV und JSON beschränkt. + Wenn sich die Struktur Ihrer Daten im Laufe der Zeit ändert, müssen Sie Ihre indizierten Ansichten oder out-of-the-box Integrationen aktualisieren, um den Änderungen der Datenstruktur Rechnung zu tragen. + AWS CloudFormation Vorlagen werden noch nicht unterstützt. + OpenSearch SQL- und OpenSearch PPL-Anweisungen haben bei der Arbeit mit OpenSearch Indizes andere Einschränkungen als bei der Verwendung von Direktabfragen. Direct Query unterstützt erweiterte Befehle wie JOINs Unterabfragen und Suchvorgänge, während diese Befehle in OpenSearch Indizes nur begrenzt oder gar nicht unterstützt werden. Weitere Informationen finden Sie unter [Unterstützte SQL- und PPL-Befehle](direct-query-supported-commands.md). ## Empfehlungen Bei der Verwendung von Direktabfragen in Amazon S3 empfehlen wir Folgendes: + Nehmen Sie Daten mithilfe der Partitionsformate Jahr, Monat, Tag und Stunde in Amazon S3 auf, um Abfragen zu beschleunigen. + Wenn Sie Skipping-Indizes erstellen, verwenden Sie Bloom-Filter für Felder mit hoher Kardinalität und min/max Indizes für Felder mit großen Wertebereichen. Für Felder mit hoher Kardinalität sollten Sie erwägen, einen wertebasierten Ansatz zu verwenden, um die Abfrageeffizienz zu verbessern. + Verwenden Sie Index State Management, um Speicherplatz für materialisierte Ansichten und umfassende Indizes bereitzustellen. + Verwenden Sie die `COALESCE SQL` Funktion, um fehlende Spalten zu behandeln und sicherzustellen, dass Ergebnisse zurückgegeben werden. + Verwenden Sie Grenzwerte für Ihre Abfragen, um sicherzustellen, dass Sie nicht zu viele Daten zurückholen. ## Kontingente Jedes Mal, wenn Sie eine Abfrage an eine Amazon S3 S3-Datenquelle starten, öffnet OpenSearch Service eine *Sitzung* und hält sie mindestens drei Minuten lang aufrecht. Dadurch wird die Abfragelatenz reduziert, da die Startzeit der Sitzung bei nachfolgenden Abfragen entfällt. | Description | Maximum | Kann überschrieben werden | | --- | --- | --- | | Verbindungen pro Domain | 10 | Ja | | Datenquellen pro Domain | 20 | Ja | | Indizes pro Domain | 5 | Ja | | Gleichzeitige Sitzungen pro Datenquelle | 10 | Ja | | Maximale OCU pro Abfrage | 60 | Ja | | Maximale Ausführungszeit für Abfragen (Minuten) | 30 | Ja | | Maximum OCUs pro Beschleunigung | 20 | Ja | | Maximaler kurzlebiger Speicher | 20 | Ja | ## Unterstützt AWS-Regionen Folgendes AWS-Regionen wird für direkte Abfragen in Amazon S3 unterstützt: + Asien-Pazifik (Hongkong) + Asien-Pazifik (Mumbai) + Asia Pacific (Seoul) + Asien-Pazifik (Singapur) + Asien-Pazifik (Sydney) + Asien-Pazifik (Tokio) + Canada (Central) + Europe (Frankfurt) + Europa (Irland) + Europa (Stockholm) + USA Ost (Nord-Virginia) + USA Ost (Ohio) + USA West (Oregon)