Configurar e consultar uma fonte de dados do S3 no OpenSearch Dashboards

Depois de criou a fonte de dados, é possível definir configurações de segurança, suas tabelas do Amazon S3 ou a indexação acelerada de dados. Esta seção mostra vários casos de uso com a sua fonte de dados no OpenSearch Dashboards antes de você consultar dados.

Antes de configurar as próximas seções, navegue até sua fonte de dados no OpenSearch Dashboards. Na navegação à esquerda, em Gerenciamento, selecione Fontes de dados. Em Gerenciar fontes de dados, selecione o nome da fonte de dados criada no console.

Crie tabelas do Spark usando o Query Workbench

Consultas diretas do OpenSearch Service para o Amazon S3 usam tabelas Spark dentro do AWS Glue Data Catalog. Você pode criar tabelas no Query Workbench sem precisar sair do OpenSearch Dashboards.

Para gerenciar bancos de dados e tabelas existentes na sua fonte de dados ou para criar novas tabelas para usar em consultas diretas, escolha Query Workbench no painel de navegação à esquerda e selecione a fonte de dados do Amazon S3 na lista suspensa de fontes de dados.

Para configurar uma tabela para logs de fluxo da VPC armazenados no S3 no formato Parquet, execute a seguinte consulta:

CREATE TABLE 
datasourcename.gluedatabasename.vpclogstable (version INT, account_id STRING, interface_id STRING, 
srcaddr STRING, dstaddr STRING, srcport INT, dstport INT, protocol INT, packets BIGINT, 
bytes BIGINT, start BIGINT, end BIGINT, action STRING, log_status STRING, 
`aws-account-id` STRING, `aws-service` STRING, `aws-region` STRING, year STRING, 
month STRING, day STRING, hour STRING) 

USING parquet PARTITIONED BY (aws-account-id, aws-service, aws-region, year, month, 
day, hour) 

LOCATION "s3://accountnum-vpcflow/AWSLogs"

Depois de criar a tabela, execute a consulta a seguir para garantir que ela seja compatível com consultas diretas:

MSCK REPAIR TABLE  datasourcename.databasename.vpclogstable

Configurar integrações para tipos de log populares da AWS

Você pode integrar os tipos de log do AWS armazenados no Amazon S3 com o OpenSearch Service. Use o OpenSearch Dashboards para instalar integrações que criam tabelas, consultas salvas e painéis do AWS Glue Data Catalog. Essas integrações usam visões indexadas para manter os painéis atualizados.

Para obter instruções para instalar uma integração, consulte Installing an integration asset na documentação do OpenSearch.

Ao selecionar uma integração, certifique-se de que ela tenha a tag S3 Glue.

Ao configurar a integração, especifique Conexão do S3 como o tipo de conexão. Depois, selecione a fonte de dados para a integração, a localização dos dados no Amazon S3, o ponto de verificação para gerenciar a indexação de aceleração e os ativos necessários para o seu caso de uso.

Configurar o controle de acesso

Na página de detalhes da fonte de dados, encontre a seção Controles de acesso e escolha Editar. Se o domínio tiver controle de acesso refinado habilitado, escolha Restrito e selecione os perfis aos quais pretende fornecer acesso à nova fonte de dados. Também é possível escolher Somente administrador para que somente o administrador tenha acesso à fonte de dados.

Consultar dados do S3 no OpenSearch Discover

Depois que você configura as tabelas e a aceleração de consulta opcional desejada, pode começar a analisar seus dados. Para consultar os dados, selecione a fonte de dados no menu suspenso. Se você estiver usando o Amazon S3 e o OpenSearch Dashboards, vá para o Discover e selecione o nome da fonte de dados.

Se estiver usando um índice de salto ou não tiver criado um índice, você poderá usar SQL ou PPL para consultar os dados. Se configurou uma visão materializada ou um índice de abrangência, você já tem um índice e pode usar a Dashboards Query Language (DQL) no Dashboards. Você também pode usar o PPL com o plug-in Observability e o SQL com o plug-in Query Workbench. Atualmente, somente os plug-ins Observability e Query Workbench oferecem suporte para PPL e SQL. Para consultar dados usando a API do OpenSearch Service, consulte a documentação de API assíncrona.

Solução de problemas

Pode haver casos em que os resultados não retornem conforme o esperado. Se tiver enfrentando algum problema, lembre-se de seguir as Recomendações para o uso de consultas diretas no Amazon OpenSearch Service.