View a markdown version of this page

Amazon Data Firehose 中的数据保护 - Amazon Data Firehose

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Data Firehose 中的数据保护

Amazon Data Firehose 使用 TLS 协议对所有传输中数据进行加密。此外,对于处理期间存储在临时存储中的数据,Amazon Data Firehose 使用 AWS Key Management Service 来加密数据,并使用校验和验证来验证数据完整性。

如果有敏感数据,您可以在使用 Amazon Data Firehose 时启用服务器端数据加密。执行此操作的方式取决于您的数据源。

注意

如果您在访问时需要 FIPS 140-2 验证的加密模块 AWS 通过命令行接口或 API,使用 FIPS 端点。有关可用的 FIPS 端点的更多信息,请参阅《美国联邦信息处理标准(FIPS)第 140-2 版》。

Server-side 使用 Kinesis 数据流进行加密

当您将数据生成器中的数据发送到数据流时,Kinesis Data Streams 会使用加密您的数据 AWS Key Management Service (AWS KMS) 在存储静态数据之前进行密钥。当 Firehose 流从数据流中读取数据时,Kinesis Data Streams 会先解密数据,然后将其发送到 Amazon Data Firehose。Amazon Data Firehose 根据您指定的缓冲提示在内存中缓冲数据。然后将其传输到目标,而不以静态方式存储未加密数据。

有关如何为 Kinesis 数据流启用服务器端加密的信息,请参见 使用 Server-Side 加密 在 亚马逊 Kinesis 数据流开发者指南。

Server-side 使用 Direct PUT 或其他数据源进行加密

如果您使用以下方式向 Firehose 直播发送数据 PutRecord 要么 PutRecordBatch,或者如果你使用发送数据 AWS IoT,亚马逊 CloudWatch 日志,或 CloudWatch 事件,你可以使用开启服务器端加密 StartDeliveryStreamEncryption 操作。

要停止服务器端加密,请使用 StopDeliveryStreamEncryption 操作。

您还可以在创建 Firehose 流时启用 SSE。为此,请指定 DeliveryStreamEncryptionConfigurationInput 当你调用时 CreateDeliveryStream。

要成功使用 CUSTOMER_MANAGED_CMK,调用方的 IAM 策略和 KMS 密钥策略都必须允许 kms:GenerateDataKey 和 kms:Decrypt 操作。Firehose 会在您致电时验证这些权限 PutRecord 要么 PutRecordBatch 和 CUSTOMER_MANAGED_CMK 加密。此外, kms:CreateGrant 打电话时需要许可 CreateDeliveryStream 要么 StartDeliveryStreamEncryption 和 CUSTOMER_MANAGED_CMK 加密。

当 CMK 类型为 CUSTOMER_MANAGED_CMK,时,如果 Amazon Data Firehose 服务因 KMSNotFoundException、KMSInvalidStateException、KMSDisabledException 或 KMSAccessDeniedException 而无法解密记录,服务最多会等待 24 小时(保留期),以便您解决问题。如果保留期过后,问题仍然存在,服务会跳过已过保留期但无法解密的记录,然后丢弃数据。亚马逊 Data Firehose 提供以下四个 CloudWatch 您可以使用这些指标来跟踪这四个指标 AWS KMS 例外情况:

  • KMSKeyAccessDenied

  • KMSKeyDisabled

  • KMSKeyInvalidState

  • KMSKeyNotFound

有关这 4 个指标的更多信息,请参阅使用指标监控亚马逊 Data Firehose CloudWatch。

重要

要加密您的 Firehose 流,请使用对称 CMK。Amazon Data Firehose 不支持非对称 CMK。有关对称和非对称 CMK 的信息,请参见 关于对称和非对称 CMK 在 AWS Key Management Service 开发者指南。

注意

当您使用客户托管密钥(CUSTOMER_MANAGED_CMK)为 Firehose 流启用服务器端加密(SSE)时,Firehose 服务会在使用您的密钥时设置加密上下文。由于此加密上下文表示密钥归您所有 AWS 账户已被使用,它是作为的一部分记录的 AWS CloudTrail 您的事件日志 AWS 账户。此加密上下文是由 Firehose 服务生成的系统。您的应用程序不应对 Firehose 服务设置的加密上下文的格式或内容做出任何假设。