View a markdown version of this page

Interrogazione diretta dei dati di Amazon CloudWatch Logs in Service OpenSearch - OpenSearch Servizio Amazon

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Interrogazione diretta dei dati di Amazon CloudWatch Logs in Service OpenSearch

Questa sezione ti illustrerà il processo di creazione e configurazione di un'integrazione di fonti di dati in Amazon OpenSearch Service, consentendoti di interrogare e analizzare in modo efficiente i dati archiviati nei CloudWatch log.

Nelle pagine seguenti, imparerai come configurare un'origine dati CloudWatch Logs con interrogazione diretta, esplorare i prerequisiti necessari e seguire le procedure utilizzando. step-by-step Console di gestione AWS

Prezzi

Amazon OpenSearch Service offre prezzi OpenSearch Compute Unit (OCU) per le query dirette di CloudWatch Logs. Quando esegui query dirette, ti vengono addebitati addebiti orari, indicati nella fattura come OCUs DirectQuery tipo di utilizzo dell'OCU. Inoltre, ti verranno addebitati costi separati da Amazon CloudWatch Logs.

Le query dirette sono di due tipi: interattive e con visualizzazione indicizzata.

  • Le query interattive vengono utilizzate per compilare il selettore di dati ed eseguire analisi sui dati nei registri. CloudWatch OpenSearch Il servizio gestisce ogni query con un job separato pre-riscaldato, senza mantenere una sessione prolungata.

  • Le query di visualizzazione indicizzata utilizzano il calcolo per mantenere le viste indicizzate nel Servizio. OpenSearch Queste query in genere richiedono più tempo perché inseriscono una quantità variabile di dati in un indice denominato. Per le origini dati CloudWatch connesse a Logs, i dati indicizzati vengono archiviati in una raccolta OpenSearch Serverless in cui vengono addebitati i dati indicizzati (IndexingOCU), i dati ricercati (SearchOCU) e i dati archiviati in GB.

Per ulteriori informazioni, consulta le sezioni Direct Query e Serverless all'interno dei prezzi OpenSearch di Amazon Service.

Limitazioni

Le seguenti limitazioni si applicano alle query dirette nei CloudWatch log:

  • L'integrazione diretta delle query con CloudWatch Logs è disponibile solo nelle raccolte di OpenSearch servizi e nell' OpenSearch interfaccia utente.

  • OpenSearch Le raccolte serverless hanno limiti di payload in rete di 100 MiB.

  • CloudWatch Logs supporta VPC Flow CloudTrail AWS WAF e integrazioni di dashboard installate dalla console.

  • AWS CloudFormation i modelli non sono ancora supportati.

  • OpenSearch Le istruzioni SQL e OpenSearch PPL presentano limitazioni diverse quando si lavora con OpenSearch gli indici rispetto all'utilizzo di query dirette. Direct Query supporta comandi avanzati come JOINs sottoquery e ricerche, mentre il supporto per questi comandi sugli OpenSearch indici è limitato o inesistente. Per ulteriori informazioni, consulta Comandi SQL e PPL supportati.

Raccomandazioni

Quando si utilizzano interrogazioni dirette nei log, si consiglia quanto segue: CloudWatch

  • Quando si cercano più gruppi di log in un'unica query, utilizzare la sintassi appropriata. Per ulteriori informazioni, consulta Funzioni di gruppo multi-log.

  • Quando usi i comandi SQL o PPL, racchiudi alcuni campi tra i backtick per interrogarli correttamente. I backtick sono necessari per i campi con caratteri speciali (non alfabetici e non numerici). Ad esempio, racchiudi e inserisci i contrassegni. @message Operation.Export, Test::Field Non è necessario racchiudere colonne con nomi puramente alfabetici nei backtick.

    Query di esempio con campi semplici:

    SELECT SessionToken, Operation, StartTime FROM `LogGroup-A` LIMIT 1000;

    Query simile con backtick aggiunti:

    SELECT `@SessionToken`, `@Operation`, `@StartTime` FROM `LogGroup-A` LIMIT 1000;
  • Usa dei limiti per le tue query per assicurarti di non recuperare troppi dati.

  • Le query contenenti nomi di campo identici ma che differiscono solo nel caso in cui (ad esempio field1 eFIELD1) non siano supportate.

    Ad esempio, le seguenti query non sono supportate:

    Select AWSAccountId, AwsAccountId from LogGroup Select a.@LogStream, b.@logStream from Table A INNER Join Table B ona.id = b.id

    Tuttavia, la seguente query è supportata perché il nome del campo (@logStream) è identico in entrambi i gruppi di log:

    Select a.@logStream, b.@logStream from Table A INNER Join Table B on a.id = b.id
  • Le funzioni e le espressioni devono operare sui nomi dei campi e far parte di un'SELECTistruzione con un gruppo di log specificato nella FROM clausola.

    Ad esempio, questa query non è supportata:

    SELECT cos(10) FROM LogGroup

    Questa interrogazione è supportata:

    SELECT cos(field1) FROM LogGroup

Quote

Nota

Se stai cercando di eseguire query dirette utilizzando CloudWatch Logs Insights, assicurati di fare riferimento a. Informazioni aggiuntive per gli utenti di CloudWatch Logs Insights che utilizzano SQL OpenSearch

Description Valore Limite flessibile? Note
Limite TPS a livello di account per le query dirette APIs 3 TPS
Numero massimo di fonti di dati 20 Il limite è per Account AWS.
Numero massimo di indici o viste materializzate con aggiornamento automatico 30 Il limite è per fonte di dati.
Numero massimo di interrogazioni simultanee 30

Il limite è per origine dati e si applica alle query in sospeso o in esecuzione.

Include query interattive (ad esempio comandi di recupero dati comeSELECT) e query di indice (ad esempio, operazioni come/). CREATE ALTER

Numero massimo di OCU simultanee per query 512

OpenSearch Unità di calcolo (OCU). Limite basato su 15 executor e 1 driver, ciascuno con 16 vCPU e 32 GB di memoria. Rappresenta la potenza di elaborazione simultanea.

Tempo massimo di esecuzione delle query in minuti 60 No Il limite si applica alle query OpenSearch PPL/SQL in Logs Insights. CloudWatch
Periodo di eliminazione delle query obsolete IDs 90 giorni Questo è il periodo di tempo dopo il quale il OpenSearch Servizio elimina i metadati delle query dalle voci precedenti. Ad esempio, una chiamata GetDirectQuery o un GetDirectQueryResult errore per le query che risalgono a più di 90 giorni.

Supportato Regioni AWS

Quanto segue Regioni AWS è supportato per le interrogazioni dirette nei CloudWatch registri:

  • Asia Pacifico (Mumbai)

  • Asia Pacifico (Hong Kong)

  • Asia Pacifico (Osaka)

  • Asia Pacifico (Seoul)

  • Asia Pacifico (Singapore)

  • Asia Pacifico (Sydney)

  • Asia Pacifico (Tokyo)

  • Canada (Centrale)

  • Europa (Francoforte)

  • Europa (Irlanda)

  • Europa (Stoccolma)

  • Europa (Milano)

  • Europa (Spagna)

  • Stati Uniti orientali (Virginia settentrionale)

  • Stati Uniti orientali (Ohio)

  • Stati Uniti occidentali (Oregon)

  • Stati Uniti occidentali (California settentrionale)

  • Europa (Parigi)

  • Europa (Londra)

  • Sud America (San Paolo)