Controle de acesso com o Amazon Data Firehose

As seções a seguir abordam como controlar o acesso de entrada e saída dos recursos do Amazon Data Firehose. As informações abordadas incluem como conceder acesso à sua aplicação para que ela possa enviar dados para seu fluxo do Firehose. Elas também descrevem como é possível conceder ao Amazon Data Firehose acesso ao bucket do Amazon Simple Storage Service (Amazon S3), ao cluster do Amazon Redshift ou ao cluster do Amazon OpenSearch Service, bem como as permissões de acesso necessárias se você usar o Datadog, o Dynatrace, o LogicMonitor, o MongoDB, o New Relic, o Splunk ou o Sumo Logic como destino. Por fim, neste tópico, você encontrará orientações sobre como configurar o Amazon Data Firehose para que ele possa entregar dados a um destino que pertence a outra conta da AWS. A tecnologia para gerenciar todas essas formas de acesso é o AWS Identity and Access Management (IAM). Para obter mais informações sobre o IAM, consulte O que é o IAM?.

Concessão de acesso a seus recursos do Firehose

Para conceder à sua aplicação acesso ao fluxo do Firehose, use uma política semelhante a este exemplo. É possível ajustar as operações de API individuais às quais concede acesso modificando a seção Action ou conceder acesso a todas as operações com "firehose:*".

JSON

{
    "Version":"2012-10-17",		 	 	  		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "firehose:DeleteDeliveryStream",
                "firehose:PutRecord",
                "firehose:PutRecordBatch",
                "firehose:UpdateDestination"
            ],
            "Resource": [
                "arn:aws:firehose:us-east-1:123456789012:deliverystream/delivery-stream-name"
            ]
        }
    ]
}

Concessão ao Firehose de acesso ao seu cluster privado do Amazon MSK

Se a fonte do seu fluxo do Firehose for um cluster privado do Amazon MSK, use uma política similar a este exemplo.

Você deve adicionar uma política como essa à política baseada em recursos do cluster para conceder à entidade principal do serviço do Firehose permissão de invocar a operação de API CreateVpcConnection do Amazon MSK.

Permissão para o Firehose assumir um perfil do IAM

Esta seção descreve as permissões e as políticas que concedem ao Amazon Data Firehose acesso para ingerir, processar e entregar dados da fonte ao destino.

O Amazon Data Firehose usa um perfil do IAM para todas as permissões de que o fluxo do Firehose precisa para processar e entregar os dados. Certifique-se de que as políticas de confiança a seguir estejam anexadas a esse perfil para que o Amazon Data Firehose possa assumi-lo.

Se você escolher o Amazon MSK como fonte do fluxo do Firehose, deverá especificar outro perfil do IAM que conceda ao Amazon Data Firehose permissões para ingerir dados da fonte do cluster do Amazon MSK especificado. Certifique-se de que as políticas de confiança a seguir estejam anexadas a esse perfil para que o Amazon Data Firehose possa assumi-lo.

JSON

{
  "Version":"2012-10-17",		 	 	  		 	 	 
  "Statement": [
    {
      "Principal": {
        "Service": [
          "firehose.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": "sts:AssumeRole"
    }
  ]
}
        

Certifique-se de que esse perfil que concede permissões ao Amazon Data Firehose para ingerir dados da fonte do cluster do Amazon MSK especificado conceda as permissões a seguir:

Concessão ao Firehose de acesso ao AWS Glue para conversão de formato de dados

Se o seu fluxo do Firehose fizer conversão de formato de dados, o Amazon Data Firehose referenciará as definições de tabela armazenadas no AWS Glue. Para conceder ao Amazon Data Firehose o acesso necessário ao AWS Glue, adicione a instrução a seguir à política. Para obter informações sobre como descobrir o ARN da tabela, consulte Especificação de ARNs de recursos do AWS Glue.

{
    "Sid": "",
    "Effect": "Allow",
    "Action": [
        "glue:GetTable",
        "glue:GetTableVersion",
        "glue:GetTableVersions"
    ],
    "Resource": [
        "arn:aws:glue:us-east-1:123456789012:catalog",
        "arn:aws:glue:us-east-1:123456789012:database/b",
        "arn:aws:glue:us-east-1:123456789012:table/b/easd"
    ]
},
{
      actions: ['glue:GetSchemaVersion'],
      grantee: options.role,
      resourceArns: ['*'],
}

A política recomendada para obter esquemas do registro do esquema não tem restrições de recursos. Para obter mais informações, consulte Exemplos do IAM para desserializadores no Guia do desenvolvedor do AWS Glue.

Concessão ao Firehose de acesso a um destino do Amazon S3

Quando você usa um destino do Amazon S3, o Amazon Data Firehose entrega dados ao bucket do S3 e também pode usar uma chave do AWS KMS que você possui para criptografia de dados. Se o registro em log dos erros estiver habilitado, o Amazon Data Firehose também enviará os erros de entrega de dados para os fluxos e o grupo de logs do CloudWatch. Você precisa ter um perfil do IAM ao criar um fluxo do Firehose. O Amazon Data Firehose assume esse perfil do IAM e ganha acesso ao bucket, à chave e aos fluxos e ao grupo de logs do CloudWatch especificados.

Use a política de acesso padrão a seguir para permitir que o Amazon Data Firehose acesse o bucket do S3 e a chave do AWS KMS. Se você não tiver o bucket do S3, adicione s3:PutObjectAcl à lista de ações do Amazon S3. Isso concede ao proprietário do bucket acesso total aos objetos entregues pelo Amazon Data Firehose.

JSON

{
    "Version":"2012-10-17",		 	 	  		 	 	   
    "Statement":
    [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"		    
            ] 
        },        
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:DescribeStream",
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:ListShards"
            ],
            "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/stream-name"
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:us-east-1:123456789012:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.us-east-1.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },
        {
           "Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name:log-stream:log-stream-name"
           ]
        },
        {
           "Effect": "Allow", 
           "Action": [
               "lambda:InvokeFunction", 
               "lambda:GetFunctionConfiguration" 
           ],
           "Resource": [
               "arn:aws:lambda:us-east-1:123456789012:function:function-name:function-version"
           ]
        }
    ]
}

A política acima também tem uma declaração que permite o acesso ao Amazon Kinesis Data Streams. Se você não usar o Kinesis Data Streams como fonte de dados, poderá remover essa instrução. Se você usar o Amazon MSK como sua fonte, poderá substituir essa declaração pela a seguir:

{
   "Sid":"",
   "Effect":"Allow",
   "Action":[
      "kafka:GetBootstrapBrokers",
      "kafka:DescribeCluster",
      "kafka:DescribeClusterV2",
      "kafka-cluster:Connect"
   ],
   "Resource":"arn:aws:kafka:{{mskClusterRegion}}:{{mskClusterAccount}}:cluster/{{mskClusterName}}/{{clusterUUID}}"
},
{
   "Sid":"",
   "Effect":"Allow",
   "Action":[
      "kafka-cluster:DescribeTopic",
      "kafka-cluster:DescribeTopicDynamicConfiguration",
      "kafka-cluster:ReadData"
   ],
   "Resource":"arn:aws:kafka:{{mskClusterRegion}}:{{mskClusterAccount}}:topic/{{mskClusterName}}/{{clusterUUID}}/{{mskTopicName}}"
},
{
   "Sid":"",
   "Effect":"Allow",
   "Action":[
      "kafka-cluster:DescribeGroup"
   ],
   "Resource":"arn:aws:kafka:{{mskClusterRegion}}:{{mskClusterAccount}}:group/{{mskClusterName}}/{{clusterUUID}}/*"
}

Para obter mais informações sobre permitir que outros serviços da AWS acessem os recursos da AWS, consulte Criar um perfil para delegar permissões a um serviço da AWS no Guia do usuário do IAM.

Para saber como conceder ao Amazon Data Firehose acesso a um destino do Amazon S3 em outra conta, consulte Entrega entre contas a um destino do Amazon S3.

Conceder ao Firehose acesso às tabelas do Amazon S3

É necessário ter um perfil do IAM para criar um fluxo do Firehose. Use as etapas a seguir para criar uma política e um perfil do IAM. O Firehose assume esse perfil do IAM e executa as ações necessárias.

Faça login no Console de gerenciamento da AWS e abra o console do IAM, em https://console.aws.amazon.com/iam/.

Crie uma política e escolha JSON no editor de políticas. Adicione a política em linha a seguir, que concede ao Amazon S3 permissões, como permissões de leitura/gravação, permissões para atualizar a tabela no catálogo de dados, etc.

JSON

{
  "Version":"2012-10-17",		 	 	  		 	 	 
  "Statement": [
    {
      "Sid": "S3TableAccessViaGlueFederation",
      "Effect": "Allow",
      "Action": [
        "glue:GetTable",
        "glue:GetDatabase",
        "glue:UpdateTable"
      ],
      "Resource": [
        "arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/*",
        "arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog",
        "arn:aws:glue:us-east-1:123456789012:catalog",
        "arn:aws:glue:us-east-1:123456789012:database/*",
        "arn:aws:glue:us-east-1:123456789012:table/*/*"
      ]
    },
    {
      "Sid": "S3DeliveryErrorBucketPermission",
      "Effect": "Allow",
      "Action": [
        "s3:AbortMultipartUpload",
        "s3:GetBucketLocation",
        "s3:GetObject",
        "s3:ListBucket",
        "s3:ListBucketMultipartUploads",
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::<error delivery bucket>",
        "arn:aws:s3:::<error delivery bucket>/*"
      ]
    },
    {
      "Sid": "RequiredWhenUsingKinesisDataStreamsAsSource",
      "Effect": "Allow",
      "Action": [
        "kinesis:DescribeStream",
        "kinesis:GetShardIterator",
        "kinesis:GetRecords",
        "kinesis:ListShards"
      ],
      "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/<stream-name>"
    },
    {
      "Sid": "RequiredWhenDoingMetadataReadsANDDataAndMetadataWriteViaLakeformation",
      "Effect": "Allow",
      "Action": [
        "lakeformation:GetDataAccess"
      ],
      "Resource": "*"
    },
    {
      "Sid": "RequiredWhenUsingKMSEncryptionForS3ErrorBucketDelivery",
      "Effect": "Allow",
      "Action": [
        "kms:Decrypt",
        "kms:GenerateDataKey"
      ],
      "Resource": [
        "arn:aws:kms:us-east-1:123456789012:key/<KMS-key-id>"
      ],
      "Condition": {
        "StringEquals": {
          "kms:ViaService": "s3.us-east-1.amazonaws.com"
        },
        "StringLike": {
          "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::<error delivery bucket>/prefix*"
        }
      }
    },
    {
      "Sid": "LoggingInCloudWatch",
      "Effect": "Allow",
      "Action": [
        "logs:PutLogEvents"
      ],
      "Resource": [
        "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name>:log-stream:<log-stream-name>"
      ]
    },
    {
      "Sid": "RequiredWhenAttachingLambdaToFirehose",
      "Effect": "Allow",
      "Action": [
        "lambda:InvokeFunction",
        "lambda:GetFunctionConfiguration"
      ],
      "Resource": [
        "arn:aws:lambda:us-east-1:123456789012:function:<function-name>:<function-version>"
      ]
    }
  ]
}

A política tem instruções que permitem acesso ao Amazon Kinesis Data Streams, invocando funções do Lambda e acesso a chaves do AWS KMS. Se você não usar nenhum desses recursos, poderá remover as respectivas declarações. Se o registro em log dos erros estiver habilitado, o Amazon Data Firehose também enviará os erros de entrega de dados para os fluxos e o grupo de logs do CloudWatch. É necessário configurar os nomes do grupo de logs e do fluxo de logs para usar essa opção. Para os nomes de grupo de logs e fluxo de logs, consulte Monitoramento do Amazon Data Firehose usando o CloudWatch Logs.

Nas políticas em linha, substitua <error delivery bucket> pelo nome do bucket do Amazon S3, aws-account-id e região por um número válido de Conta da AWS e uma região do recurso.

Depois de criar a política, abra o console do IAM em https://console.aws.amazon.com/iam/ e crie um perfil do IAM com o AWS service (Serviço da AWS) como Tipo de entidade confiável.

Em Serviço ou Caso de Uso, escolha Kinesis. Em Caso de uso, escolha Kinesis Firehose.

Na próxima página, escolha a política criada na etapa anterior para anexar a esse perfil. Na página de análise, você encontrará uma política de confiança já anexada a esse perfil, dando permissões ao serviço do Firehose para assumir esse perfil. Quando você cria o perfil, o Amazon Data Firehose pode assumi-lo para executar as operações necessárias no AWS Glue e nos buckets do S3. Adicione a entidade principal do serviço do Firehose à política de confiança do perfil criado. Para obter mais informações, consulte Permissão para o Firehose assumir um perfil do IAM.

Concessão ao Firehose de acesso a um destino de tabelas do Apache Iceberg

Você deve ter um perfil do IAM antes de criar um fluxo do Firehose e tabelas do Apache Iceberg usando o AWS Glue. Use as etapas a seguir para criar uma política e um perfil do IAM. O Firehose assume esse perfil do IAM e executa as ações necessárias.

Conceder ao Firehose acesso a um destino do Amazon Redshift

Consulte os pontos a seguir ao conceder acesso ao Amazon Data Firehose ao usar um destino do Amazon Redshift.

Perfil do IAM e política de acesso

Quando você usa um destino do Amazon Redshift, o Amazon Data Firehose entrega os dados ao bucket do S3 como um local intermediário. Opcionalmente, ele pode usar uma chave do AWS KMS da qual você seja proprietário para criptografar os dados. Em seguida, o Amazon Data Firehose emite carrega os dados do bucket do S3 ao cluster provisionado do Amazon Redshift ou no grupo de trabalho do Amazon Redshift sem servidor. Se o registro em log dos erros estiver habilitado, o Amazon Data Firehose também enviará os erros de entrega de dados para os fluxos e o grupo de logs do CloudWatch. O Amazon Data Firehose usa o nome de usuário e a senha especificados do Amazon Redshift para acessar o cluster provisionado ou o grupo de trabalho do Amazon Redshift sem servidor e usa um perfil do IAM para acessar o bucket, a chave, o grupo de logs e os fluxos do CloudWatch especificados. Você precisa ter um perfil do IAM ao criar um fluxo do Firehose.

Use a política de acesso padrão a seguir para permitir que o Amazon Data Firehose acesse o bucket do S3 e a chave do AWS KMS. Se você não é o proprietário do bucket do S3, adicione s3:PutObjectAcl à lista de ações do Amazon S3, o que concede ao proprietário do bucket acesso total aos objetos entregues pelo Amazon Data Firehose. A política acima também tem uma instrução que concede acesso ao Amazon Kinesis Data Streams. Se você não usar o Kinesis Data Streams como fonte de dados, poderá remover essa instrução.

JSON

{
"Version":"2012-10-17",		 	 	  		 	 	   
    "Statement":
    [    
        {      
            "Effect": "Allow",
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"		    
            ]    
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:us-east-1:123456789012:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.us-east-1.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },        
        {
           "Effect": "Allow",
           "Action": [
               "kinesis:DescribeStream",
               "kinesis:GetShardIterator",
               "kinesis:GetRecords",
               "kinesis:ListShards"
           ],
           "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/stream-name"
        },
        {
           "Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name:log-stream:log-stream-name"
           ]
        },
        {
           "Effect": "Allow", 
           "Action": [
               "lambda:InvokeFunction", 
               "lambda:GetFunctionConfiguration" 
           ],
           "Resource": [
               "arn:aws:lambda:us-east-1:123456789012:function:function-name:function-version"
           ]
        }
    ]
}

Para obter mais informações sobre permitir que outros serviços da AWS acessem os recursos da AWS, consulte Criar um perfil para delegar permissões a um serviço da AWS no Guia do usuário do IAM.

Acesso da VPC a um cluster provisionado pelo Amazon Redshift ou a um grupo de trabalho do Amazon Redshift sem servidor

Se o cluster provisionado do Amazon Redshift ou um grupo de trabalho do Amazon Redshift sem servidor estiver em uma nuvem privada virtual (VPC), ele deve ser acessível publicamente com um endereço IP público. Além disso, conceda ao Amazon Data Firehose acesso ao cluster provisionado do Amazon Redshift ou ao grupo de trabalho do Amazon Redshift sem servidor desbloqueando os endereços IP do Amazon Data Firehose. O Amazon Data Firehose atualmente usa um bloco CIDR para cada região disponível.

Para obter mais informações sobre como desbloquear endereços IP, consulte a etapa Autorizar o acesso ao cluster no Guia de conceitos básicos do Amazon Redshift.

Conceder ao Firehose acesso a um destino público do OpenSearch Service

Quando você usa um destino do OpenSearch Service, o Amazon Data Firehose entrega dados ao cluster do OpenSearch Service e faz o backup simultâneo dos documentos com falha ou de todos os documentos no bucket do S3. Se o registro em log dos erros estiver habilitado, o Amazon Data Firehose também enviará os erros de entrega de dados para os fluxos e o grupo de logs do CloudWatch. O Amazon Data Firehose usa um perfil do IAM para acessar o domínio do OpenSearch Service, o bucket do S3, a chave do AWS KMS, os fluxos e o grupo de logs do CloudWatch especificados. Você precisa ter um perfil do IAM ao criar um fluxo do Firehose.

Use a política de acesso a seguir para permitir que o Amazon Data Firehose acesse o bucket do S3, o domínio do OpenSearch Service e a chave do AWS KMS. Se você não for o proprietário do bucket do S3, adicione s3:PutObjectAcl à lista de ações do Amazon S3, o que concede ao proprietário do bucket acesso total aos objetos entregues pelo Amazon Data Firehose. A política acima também tem uma instrução que concede acesso ao Amazon Kinesis Data Streams. Se você não usar o Kinesis Data Streams como fonte de dados, poderá remover essa instrução.

Para obter mais informações sobre permitir que outros serviços da AWS acessem os recursos da AWS, consulte Criar um perfil para delegar permissões a um serviço da AWS no Guia do usuário do IAM.

Para saber como conceder ao Amazon Data Firehose acesso a um cluster do OpenSearch Service em outra conta, consulte Entrega entre contas a um destino do OpenSearch Service.

Concessão ao Firehose de acesso a um destino do OpenSearch Service em uma VPC

Se o seu domínio do OpenSearch Service estiver em uma VPC, certifique-se de conceder ao Amazon Data Firehose as permissões descritas na seção anterior. Além disso, você precisa conceder ao Amazon Data Firehose as permissões a seguir para que ele possa acessar a VPC do seu domínio do OpenSearch Service.

Ao criar ou atualizar seu fluxo do Firehose, você especifica um grupo de segurança para o Amazon Data Firehose usar quando enviar dados para o domínio do OpenSearch Service. É possível usar o mesmo grupo de segurança que o domínio do OpenSearch Service usa ou um grupo diferente. Se você especificar um grupo de segurança diferente, verifique se ele permite tráfego HTTPS de saída para o grupo de segurança do domínio do OpenSearch Service. Certifique-se também de que o grupo de segurança do domínio do OpenSearch Service permita o tráfego HTTPS do grupo de segurança que você especificou ao configurar o fluxo do Firehose. Se você usar o mesmo grupo de segurança para o fluxo do Firehose e para o domínio do OpenSearch Service, certifique-se de que a regra de entrada do grupo de segurança permita tráfego HTTPS. Para obter mais informações sobre regras de grupo de segurança, consulte Regras de grupo de segurança na documentação da Amazon VPC.

Concessão ao Firehose de acesso a um destino público do OpenSearch sem servidor

Quando você usa um destino do OpenSearch sem servidor, o Amazon Data Firehose entrega dados ao cluster do OpenSearch Service e faz o backup simultâneo dos documentos com falha ou de todos os documentos no bucket do S3. Se o registro em log dos erros estiver habilitado, o Amazon Data Firehose também enviará os erros de entrega de dados para os fluxos e o grupo de logs do CloudWatch. O Amazon Data Firehose usa um perfil do IAM para acessar a coleção do OpenSearch sem servidor, o bucket do S3, a chave do AWS KMS, o grupo e os fluxos de logs do CloudWatch especificados. Você precisa ter um perfil do IAM ao criar um fluxo do Firehose.

Use a política de acesso a seguir para permitir que o Amazon Data Firehose acesse o bucket do S3, o domínio do OpenSearch sem servidor e a chave do AWS KMS. Se você não for o proprietário do bucket do S3, adicione s3:PutObjectAcl à lista de ações do Amazon S3, o que concede ao proprietário do bucket acesso total aos objetos entregues pelo Amazon Data Firehose. A política acima também tem uma instrução que concede acesso ao Amazon Kinesis Data Streams. Se você não usar o Kinesis Data Streams como fonte de dados, poderá remover essa instrução.

JSON

{
    "Version":"2012-10-17",		 	 	  		 	 	   
    "Statement": [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"		    
            ]    
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:us-east-1:123456789012:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.us-east-1.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },    
       {
          "Effect": "Allow",
          "Action": [
              "kinesis:DescribeStream",
              "kinesis:GetShardIterator",
              "kinesis:GetRecords",
              "kinesis:ListShards"
          ],
          "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/stream-name"
       },
       {
          "Effect": "Allow",
          "Action": [
              "logs:PutLogEvents"
          ],
          "Resource": [
              "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name:log-stream:log-stream-name"
          ]
       },
       {
          "Effect": "Allow", 
          "Action": [
              "lambda:InvokeFunction", 
              "lambda:GetFunctionConfiguration" 
          ],
          "Resource": [
              "arn:aws:lambda:us-east-1:123456789012:function:function-name:function-version"
          ]
       },
       {
        "Effect": "Allow",
        "Action": "aoss:APIAccessAll",
        "Resource": "arn:aws:aoss:us-east-1:123456789012:collection/collection-id"
      }
    ]
}

Além da política acima, você também deve configurar o Amazon Data Firehose para ter as permissões mínimas a seguir atribuídas em uma política de acesso a dados:

[
   {
      "Rules":[
         {
            "ResourceType":"index",
            "Resource":[
               "index/target-collection/target-index"
            ],
            "Permission":[
               "aoss:WriteDocument",
               "aoss:UpdateIndex",
               "aoss:CreateIndex"
            ]
         }
      ],
      "Principal":[
         "arn:aws:sts::123456789012:assumed-role/firehose-delivery-role-name/*"
      ]
   }
] 

Para obter mais informações sobre permitir que outros serviços da AWS acessem os recursos da AWS, consulte Criar um perfil para delegar permissões a um serviço da AWS no Guia do usuário do IAM.

Concessão ao Firehose de acesso a um destino do OpenSearch sem servidor em uma VPC

Se a coleção do OpenSearch sem servidor estiver em uma VPC, certifique-se de conceder ao Amazon Data Firehose as permissões descritas na seção anterior. Além disso, você precisa conceder ao Amazon Data Firehose as permissões a seguir para que ele possa acessar a VPC do domínio do OpenSearch sem servidor.

Ao criar ou atualizar o fluxo do Firehose, você especifica um grupo de segurança para o Firehose usar quando enviar dados para a coleção do OpenSearch sem servidor. É possível usar o mesmo grupo de segurança que a coleção do OpenSearch sem servidor usa ou um grupo diferente. Se você especificar um grupo de segurança diferente, verifique se ele permite tráfego HTTPS de saída para o grupo de segurança da coleção do OpenSearch Sem Servidor. Certifique-se também de que o grupo de segurança da coleção do OpenSearch sem servidor permita o tráfego HTTPS do grupo de segurança que você especificou ao configurar o fluxo do Firehose. Se você usar o mesmo grupo de segurança para o fluxo do Firehose e para a coleção do OpenSearch sem servidor, certifique-se de que a regra de entrada do grupo de segurança permita tráfego HTTPS. Para obter mais informações sobre regras de grupo de segurança, consulte Regras de grupo de segurança na documentação da Amazon VPC.

Concessão ao Firehose de acesso a um destino do Splunk

Quando você está usando um destino Splunk, o Amazon Data Firehose entrega os dados ao endpoint do Coletor de eventos de HTTP (HEC) do Splunk. Ele também faz o backup de dados no bucket do Amazon S3 especificado, e você também pode usar uma chave do AWS KMS da qual é proprietário para criptografia no lado do servidor do Amazon S3. Se o registro dos erros em log estiver habilitado, o Firehose enviará os erros de entrega de dados para os fluxos de logs do CloudWatch. Você também pode usar o AWS Lambda para transformação de dados.

Se você usa um balanceador de carga da AWS, certifique-se de que ele seja um Classic Load Balancer ou um Application Load Balancer. Além disso, habilite sessões persistentes com a expiração de cookies desabilitada para o Classic Load Balancer, e a expiração definida como máxima (7 dias) para o Application Load Balancer. Para obter informações sobre como fazer isso, consulte Persistência de sessão baseada na duração para Classic Load Balancer ou Application Load Balancer.

É necessário ter um perfil do IAM ao criar um fluxo do Firehose. O Firehose assume esse perfil do IAM e ganha acesso ao bucket, à chave e aos fluxos e ao grupo de logs do CloudWatch especificados.

Use a política de acesso padrão a seguir para permitir que o Amazon Data Firehose acesse seu bucket do S3. Se você não é o proprietário do bucket do S3, adicione s3:PutObjectAcl à lista de ações do Amazon S3, o que concede ao proprietário do bucket acesso total aos objetos entregues pelo Amazon Data Firehose. Essa política também concede ao Amazon Data Firehose acesso ao CloudWatch para registro dos erros em log, e ao AWS Lambda para transformação de dados. A política também tem uma instrução que permite o acesso ao Amazon Kinesis Data Streams. Se você não usar o Kinesis Data Streams como fonte de dados, poderá remover essa instrução. O Amazon Data Firehose não usa o IAM para acessar o Splunk. Para acessar o Splunk, ele usa o token HEC.

JSON

{
    "Version":"2012-10-17",		 	 	  		 	 	   
    "Statement":
    [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"		    
            ]     
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:us-east-1:123456789012:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.us-east-1.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },     
        {
           "Effect": "Allow",
           "Action": [
               "kinesis:DescribeStream",
               "kinesis:GetShardIterator",
               "kinesis:GetRecords",
               "kinesis:ListShards"
           ],
           "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/stream-name"
        },
        {
           "Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name:log-stream:*"
           ]
        },
        {
           "Effect": "Allow", 
           "Action": [
               "lambda:InvokeFunction", 
               "lambda:GetFunctionConfiguration" 
           ],
           "Resource": [
               "arn:aws:lambda:us-east-1:123456789012:function:function-name:function-version"
           ]
        }
    ]
}

Para obter mais informações sobre permitir que outros serviços da AWS acessem os recursos da AWS, consulte Criar uma função para delegar permissões a um serviço da AWS no Guia do usuário do IAM.

Acesso ao Splunk na VPC

Se a plataforma do Splunk estiver em uma VPC, ela será acessível ao público com um endereço IP público. Além disso, conceda ao Amazon Data Firehose acesso à plataforma Splunk desbloqueando os endereços IP do Amazon Data Firehose. Atualmente, o Amazon Data Firehose usa os blocos CIDR a seguir.

Ingestão de logs de fluxo da VPC no Splunk usando o Amazon Data Firehose

Para saber mais sobre como criar uma assinatura de log de fluxo da VPC, publicar no Firehose e enviar os logs de fluxo da VPC para um destino com suporte, consulte Ingestão de logs de fluxo da VPC no Splunk usando o Amazon Data Firehose.

Acesso ao Snowflake ou ao endpoint de HTTP

Não há um subconjunto de intervalos de endereços IP da AWS específico para o Amazon Data Firehose quando o destino é um endpoint de HTTP ou clusters públicos do Snowflake.

Para adicionar o Firehose a uma lista de permissões para clusters públicos do Snowflake ou aos seus endpoints públicos de HTTP ou HTTPS, adicione todos os intervalos de endereços IP da AWS atuais às suas regras de entrada.

Concessão ao Firehose de acesso a um destino do Snowflake

Quando você usa o Snowflake como destino, o Firehose entrega dados para uma conta do Snowflake usando o URL da sua conta do Snowflake. Ele também faz backup dos dados de erro no bucket do Amazon Simple Storage Service especificado, e você também pode usar uma chave do AWS Key Management Service da qual seja proprietário para a criptografia no lado do servidor do Amazon S3. Se o registro dos erros em log estiver habilitado, o Firehose enviará os erros de entrega de dados para os fluxos do CloudWatch Logs.

É necessário ter um perfil do IAM para criar um fluxo do Firehose. O Firehose assume esse perfil do IAM e ganha acesso ao bucket, à chave e aos fluxos e ao grupo do CloudWatch Logs especificados. Use a política de acesso padrão a seguir para permitir que o Firehose acesse o bucket do S3. Se você não for o proprietário do bucket do S3, adicione s3:PutObjectAcl à lista de ações do Amazon Simple Storage Service, o que concede ao proprietário do bucket acesso total aos objetos entregues pelo Firehose. Essa política também concede ao Firehose acesso ao CloudWatch para registro de erros em log. A política também tem uma instrução que permite o acesso ao Amazon Kinesis Data Streams. Se você não usar o Kinesis Data Streams como fonte de dados, poderá remover essa instrução. O Firehose não usa o IAM para acessar o Snowflake. Para acesso ao Snowflake, ele usa o URL da sua conta do Snowflake e o ID da VPCE do PrivateLink no caso de um cluster privado.

JSON

{
"Version":"2012-10-17",		 	 	  		 	 	   
    "Statement":
    [    
        {
"Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"            
            ]     
        },
        {
"Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:us-east-1:123456789012:key/key-id"           
           ],
           "Condition": {
"StringEquals": {
"kms:ViaService": "s3.us-east-1.amazonaws.com"
               },
               "StringLike": {
"kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },     
        {
"Effect": "Allow",
           "Action": [
               "kinesis:DescribeStream",
               "kinesis:GetShardIterator",
               "kinesis:GetRecords",
               "kinesis:ListShards"
           ],
           "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/stream-name"
        },
        {
"Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name:log-stream:*"
           ]
        }
    ]
}

Para obter mais informações sobre permitir que outros serviços da AWS acessem os recursos da AWS, consulte Criar um perfil para delegar permissões a um serviço da AWS no Guia do usuário do IAM.

Acesso ao Snowflake na VPC

Se o cluster do Snowflake tiver um link privado habilitado, o Firehose usará um dos endpoints da VPC a seguir no momento da criação do link privado para entregar dados ao seu cluster privado sem passar pela Internet pública. Para isso, crie regras de rede do Snowflake para permitir a entrada dos AwsVpceIds a seguir para a Região da AWS em que seu cluster se encontra. Para obter mais informações, consulte Criação de regras de rede no Guia do usuário do Snowflake.

Concessão ao Firehose de acesso a um destino de endpoint de HTTP

É possível usar o Amazon Data Firehose para entregar dados a qualquer destino de endpoint de HTTP. O Amazon Data Firehose também faz backup dos dados no bucket do Amazon S3 especificado, e você tem a opção de usar uma chave do AWS KMS que possua para criptografia no lado do servidor do Amazon S3. Se o registro dos erros em log estiver habilitado, o Amazon Data Firehose enviará os erros de entrega de dados para os fluxos de logs do CloudWatch. Você também pode usar o AWS Lambda para transformação de dados.

Você precisa ter um perfil do IAM ao criar um fluxo do Firehose. O Amazon Data Firehose assume esse perfil do IAM e ganha acesso ao bucket, à chave e aos fluxos e ao grupo de logs do CloudWatch especificados.

Use a política de acesso a seguir para permitir que o Amazon Data Firehose acesse o bucket do S3 especificado para backup de dados. Se você não é o proprietário do bucket do S3, adicione s3:PutObjectAcl à lista de ações do Amazon S3, o que concede ao proprietário do bucket acesso total aos objetos entregues pelo Amazon Data Firehose. Essa política também concede ao Amazon Data Firehose acesso ao CloudWatch para registro dos erros em log, e ao AWS Lambda para transformação de dados. A política também tem uma instrução que permite o acesso ao Amazon Kinesis Data Streams. Se você não usar o Kinesis Data Streams como fonte de dados, poderá remover essa instrução.

Para obter mais informações sobre permitir que outros serviços da AWS acessem os recursos da AWS, consulte Criar um perfil para delegar permissões a um serviço da AWS no Guia do usuário do IAM.

Entrega entre contas do Amazon MSK

Quando você está criando um fluxo do Firehose a partir de sua conta do Firehose (por exemplo, Conta B) e sua fonte é um cluster do MSK em outra conta da AWS (Conta A), você deverá ter as configurações a seguir definidas.

Conta A:

Conta B:

Na Conta B, ao criar o fluxo do Firehose, você deve ter um perfil do IAM (criado por padrão ao usar o Console de gerenciamento da AWS) que conceda ao fluxo do Firehose acesso de "leitura" ao cluster do Amazon MSK entre contas para o tópico configurado.

Veja a seguir o que é configurado pelo Console de gerenciamento da AWS:

{
    "Sid": "",
    "Effect": "Allow",
    "Action": [
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeCluster",
        "kafka:DescribeClusterV2",
        "kafka-cluster:Connect"
        ],
    "Resource": "arn:aws:kafka:us-east-1:arn:aws::cluster/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/*" //topic of the cluster
    },
    {
    "Sid": "",
    "Effect": "Allow",
    "Action": [
        "kafka-cluster:DescribeTopic",
        "kafka-cluster:DescribeTopicDynamicConfiguration",
        "kafka-cluster:ReadData"
    ],
    "Resource": "arn:aws:kafka:us-east-1:arn:aws::topic/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/mskaas_test_topic" //topic of the cluster
    },
    {
    "Sid": "",
    "Effect": "Allow",
    "Action": [
        "kafka-cluster:DescribeGroup"
    ],
    "Resource": "arn:aws:kafka:us-east-1:arn:aws::group/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/*" //topic of the cluster
    },
 }        	

Em seguida, é possível concluir a etapa opcional de configuração da transformação de registros e da conversão de formato de registros. Para obter mais informações, consulte (Opcional) Configuração de transformação de registro e conversão de formato.

Entrega entre contas a um destino do Amazon S3

É possível usar a AWS CLI ou as APIs do Amazon Data Firehose para criar um fluxo do Firehose em uma conta da AWS com um destino do Amazon S3 em outra conta. O procedimento a seguir mostra um exemplo de configuração de fluxo do Firehose pertencente à conta para entregar os dados a um bucket do Amazon S3 pertencente à conta B.

Entrega entre contas a um destino do OpenSearch Service

É possível usar a AWS CLI ou as APIs do Amazon Data Firehose para criar um fluxo do Firehose em uma conta da AWS com um destino do OpenSearch Service em outra conta. O procedimento a seguir mostra um exemplo de como é possível criar um fluxo do Firehose na conta A e configurá-lo para entregar dados em um destino do OpenSearch Service pertencente à conta B.

Uso de tags para controlar o acesso

É possível usar o elemento opcional Condition (ou bloco de Condition) em uma política do IAM para ajustar o acesso às operações do Amazon Data Firehose com base nas chaves e valores das tags. As subseções a seguir descrevem como fazer isso para as diferentes operações do Amazon Data Firehose. Para saber mais sobre o uso do elemento Condition e as operações que podem ser usadas com ele, consulte Elementos de política JSON do IAM: condição.

CreateDeliveryStream

Para a operação CreateDeliveryStream, use a chave de condição aws:RequestTag. No exemplo a seguir, MyKey e MyValue representam a chave e o valor correspondente de uma tag. Para obter mais informações, consulte . Noções básicas sobre tags

JSON

{
    "Version":"2012-10-17",		 	 	  		 	 	 
    "Statement": [{
        "Effect": "Allow",
        "Action": [
            "firehose:CreateDeliveryStream",
            "firehose:TagDeliveryStream"
        ],
        "Resource": "*",
        "Condition": {
            "StringEquals": {
                "aws:RequestTag/MyKey": "MyValue"
            }
        }
    }]
}

TagDeliveryStream

Para a operação TagDeliveryStream, use a chave de condição aws:TagKeys. No exemplo a seguir, MyKey é um exemplo de chave de tag.

JSON

{
    "Version":"2012-10-17",		 	 	  		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "firehose:TagDeliveryStream",
            "Resource": "*",
            "Condition": {
                "ForAnyValue:StringEquals": {
                    "aws:TagKeys": "MyKey"
                 }
            }
        }
    ]
}

UntagDeliveryStream

Para a operação UntagDeliveryStream, use a chave de condição aws:TagKeys. No exemplo a seguir, MyKey é um exemplo de chave de tag.

JSON

{
    "Version":"2012-10-17",		 	 	  		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "firehose:UntagDeliveryStream",
            "Resource": "*",
            "Condition": {
                "ForAnyValue:StringEquals": {
                    "aws:TagKeys": "MyKey"
                 }
            }
        }
    ]
}

ListDeliveryStreams

Não é possível usar controle de acesso com base em tags com ListDeliveryStreams.

Outras operações

Para todas as operações do Firehose, exceto CreateDeliveryStream, TagDeliveryStream, UntagDeliveryStream e ListDeliveryStreams, use a chave de condição aws:RequestTag. No exemplo a seguir, MyKey e MyValue representam a chave e o valor correspondente de uma tag.

ListDeliveryStreams, use a chave de condição firehose:ResourceTag para controlar o acesso com base nas tags desse fluxo do Firehose.

No exemplo a seguir, MyKey e MyValue representam a chave e o valor correspondente de uma tag. A política se aplicaria somente aos fluxos do Data Firehose com uma tag de nome MyKey com um valor de MyValue. Para obter mais informações sobre controlar o acesso com base em tags de recurso, consulte Controlar o acesso a recursos da AWS usando tags no Guia do usuário do IAM.