Configurar fontes personalizadas de bucket do S3

Com os pipelines do CloudWatch, você pode processar logs arbitrários armazenados em buckets do S3.

Pré-requisitos

Para usar o Amazon S3 como fonte para um pipeline, primeiro crie um bucket do S3. Para obter instruções, consulte Criar um bucket de uso geral no Guia do usuário do Amazon S3.

Para configurar o processamento do S3-SQS, você também precisa executar as seguintes etapas:

Configurar o perfil do pipeline

Ao contrário de outros plug-ins de origem que enviam dados para um pipeline, o plug-in de origem do S3 tem uma arquitetura baseada em leitura na qual o pipeline extrai dados da fonte. Portanto, para que um pipeline seja lido do S3, você deve especificar uma função na configuração de origem do S3 do pipeline que tenha acesso ao bucket do S3 e à fila do Amazon SQS. O pipeline assumirá essa função para ler os dados da fila.

Você pode encontrar exemplos de permissões de perfil em Políticas do IAM específicas da fonte. Observe que esse perfil deve ter uma relação de confiança com a entidade principal do serviço de pipelines do CloudWatch. Você pode encontrar um exemplo de configuração de política de confiança para o perfil de pipeline em Relações de confiança.

Criar o pipeline

Depois de configuradas as permissões, você pode configurar um pipeline dependendo do seu caso de uso do Amazon S3.

Selecione Criar pipeline na guia Pipelines em Ingestão no console do CloudWatch. Siga as etapas do assistente de pipeline e forneça o ARN da fila do SQS e o perfil do IAM necessário do pipeline quando solicitado. Opcionalmente, forneça um nome e um tipo de fonte de dados para anexar ao destino do grupo de logs no CloudWatch Logs.

Configure uma política de recurso do CloudWatch Logs, se nenhuma estiver configurada para o grupo de logs de destino, e selecione Criar pipeline na etapa Revisar e criar. Se tudo correr bem, o pipeline será criado e os dados começarão a fluir dentro de 5 minutos.

Amazon S3 entre contas como origem

Você pode conceder acesso entre contas com o Amazon S3 para que os pipelines do OpenSearch possam acessar buckets do S3 em outra conta como fonte. Para habilitar o acesso entre contas, consulte Bucket owner granting cross-account bucket permissions (Conceder permissões de bucket entre contas como proprietário do bucket) no Guia do usuário do Amazon S3. Depois de conceder acesso, certifique-se de que seu perfil no pipeline tenha as permissões necessárias.

Depois, você pode criar um pipeline usando bucket_owners para habilitar acesso entre contas a um bucket do Amazon S3 como fonte.

Configuração da fonte de dados

Ao criar um pipeline para fontes personalizadas: