Criar um log de fluxo para publicação no Amazon S3 - Amazon Virtual Private Cloud

Criar um log de fluxo para publicação no Amazon S3

Depois de criar e configurar o bucket do Amazon S3, você poderá criar logs de fluxo para as interfaces de rede, sub-redes e VPCs.

Pré-requisito

A entidade principal do IAM que cria o log de fluxo deve estar usando um perfil do IAM com as permissões a seguir, necessárias para publicar logs de fluxo no bucket de destino do Amazon S3.

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogDelivery",
        "logs:DeleteLogDelivery"
      ],
      "Resource": "*"
    }
  ]
}
Para criar um log de fluxo usando o console

  1. Execute um destes procedimentos:

  2. Selecione Ações, Criar log de fluxo.

  3. Em Filter (Filtro), especifique o tipo de dados de tráfego de IP para registrar em log.

    • Aceitar: registre em log somente o tráfego aceito

    • Rejeitar: registre em log somente o tráfego rejeitado

    • Todos: registre em log o tráfego aceito e rejeitado.

  4. Em Maximum aggregation interval (Intervalo máximo de agregação), escolha o período máximo durante o qual um fluxo é capturado e agregado em um registro de log de fluxo.

  5. Em Destination (Destino), escolha Send to an Amazon S3 bucket (Enviar para um bucket do Amazon S3).

  6. Em ARN do bucket do S3, especifique o nome de recurso da Amazon (ARN) de um bucket existente do Amazon S3. Opcionalmente, é possível incluir uma subpasta. Por exemplo, para especificar uma subpasta chamada my-logs em um bucket chamado my-bucket, use o seguinte ARN:

    arn:aws:s3:::my-bucket/my-logs/

    O bucket não pode usar AWSLogs como um nome de subpasta, pois se trata de um termo reservado.

    Se você for o proprietário do bucket, uma política de recurso será automaticamernte criada e anexada ao bucket. Para obter mais informações, consulte Permissões do bucket do Amazon S3 para logs de fluxo.

  7. Em Formato de registro de log, selecione o formato para o registro de log de fluxo.

    • Para usar o formato de registro de log de fluxo padrão, escolha AWS Formato padrão.

    • Para criar um formato personalizado, escolha Formato personalizado. Em Formato de log, selecione os campos a serem incluídos no registro de log de fluxo.

  8. Para Metadados adicionais, escolha se quer incluir metadados do Amazon ECS no formato de log.

  9. Em Formato de registro de log, especifique o formato do arquivo de log.

    • Texto: texto sem formatação. Esse é o formato padrão.

    • Parquet: Apache Parquet é um formato colunar de dados. Consultas sobre dados no formato Parquet são 10 a 100 vezes mais rápidas em comparação com consultas em dados em texto simples. Dados em formato Parquet com compressão Gzip ocupam 20% menos espaço de armazenamento do que o texto simples com compactação Gzip.

  10. (Opcional) Para usar prefixos S3 compatíveis com o Hive, escolha Prefixo do S3 compatível com Hive, Habilitar.

  11. (Opcional) Para particionar seus logs de fluxo por hora, selecione A cada 1 hora (60 minutos).

  12. (Opcional) Para adicionar uma etiqueta ao log de fluxo, escolha Adicionar nova tag e especifique a chave e o valor da tag.

  13. Selecione Criar log de fluxo.

Como criar um log de fluxo que publique no Amazon S3 usando a linha de comando

Use um dos seguintes comandos:

O exemplo de AWS CLI a seguir cria um log de fluxo que captura todo o tráfego da VPC especificada e fornece os logs de fluxo ao bucket do Amazon S3 especificado. O parâmetro --log-format especifica um formato personalizado para os registros de log de fluxo.

aws ec2 create-flow-logs --resource-type VPC --resource-ids vpc-00112233344556677 --traffic-type ALL --log-destination-type s3 --log-destination arn:aws:s3:::flow-log-bucket/custom-flow-logs/ --log-format '${version} ${vpc-id} ${subnet-id} ${instance-id} ${srcaddr} ${dstaddr} ${srcport} ${dstport} ${protocol} ${tcp-flags} ${type} ${pkt-srcaddr} ${pkt-dstaddr}'