# Dados de logs personalizados do CloudWatch Logs ou de um bucket do Amazon S3
<a name="ingestion-custom-data-sources"></a>

Você pode criar pipelines para fontes de dados personalizadas usando as seguintes abordagens:

1. **Logs personalizados do CloudWatch**: defina pipelines nos grupos de logs personalizados do CloudWatch existentes fornecendo:
   + Um nome de fonte de dados
   + Um tipo de fonte de dados

   Para saber mais sobre nome e tipo de fonte de dados, consulte o [Guia do usuário do CloudWatch Logs](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/data-source-discovery-management.html#how-to-get-started-data-sources).

1. **Fontes personalizadas do S3**: processe logs arbitrários armazenados em buckets do S3 configurando a fonte para o pipeline:

   ```
   source:
     s3:
       aws:
         region: "us-east-1"
         sts_role_arn: "arn:aws:iam::<account>:role/<role-name>"
       compression: "gzip"
       codec:
         ndjson:
       data_source_name: "my_custom_logs"
       default_bucket_owner: "123456789012"
       bucket_owners:
         my-bucket: "123456789012"
       disable_bucket_ownership_validation: false
       notification_type: "sqs"
       sqs:
         queue_url: "https://sqs.region.amazonaws.com/<account>/<queue-name>"
       on_error: "retain_messages"
   ```
**nota**  
O processador CSV não pode ser usado com fontes personalizadas do S3. Em vez disso, use o codec CSV na fonte do S3.

**Parâmetros**  
`notification_type` (obrigatório)  
Especifica o mecanismo de notificação. Deve ser “sqs” para usar o SQS para notificações de eventos do S3.  
`data_source_name`  
Identifica a fonte de dados. Pode ser qualquer valor de string que represente a fonte de dados. Exemplo: “my\$1custom\$1logs”.  
`aws.region` (obrigatório)  
A região da AWS na qual o bucket do S3 e a fila do SQS estão localizados.  
`aws.sts_role_arn` (obrigatório)  
O ARN do perfil do IAM que deve ser assumido para acessar os recursos do S3 e do SQS.  
`codec` (obrigatório)  
Configuração do Codec para análise de objetos do S3. Compatível com codecs `csv`, `json` e `ndjson`.  
`compression` (opcional)  
Tipo de compactação dos objetos do S3. Os valores válidos são “none”, “gzip”, “automatic”. O padrão é “none”.  
`sqs.queue_url` (obrigatório para o SQS)  
O URL completo da fila do SQS que recebe notificações de buckets do S3 quando novos objetos são criados.  
`on_error` (opcional)  
Determina como lidar com erros no Amazon SQS. Pode ser `retain_messages` ou `delete_messages`. O padrão é `retain_messages`.

**Configuração da fonte de dados**

Ao criar um pipeline para fontes personalizadas:
+ Um analisador deverá ser o primeiro processador no pipeline se a fonte de dados for o CloudWatch Logs
+ Para pipelines de logs personalizados, você pode especificar qualquer processador compatível