AWS Secrets Manager 轮换问题排查

1. 分析 CloudWatch 日志：

   • 在 Lambda 函数日志中查找特定的错误消息或意外行为

   • 验证是否正在尝试所有轮换步骤（CreateSecret、SetSecret、TestSecret、FinishSecret）

2. 审核轮换期间的 API 调用：

   • 避免在 Lambda 轮换期间对密钥进行可变 API 调用

   • 确保 RotateSecret 和 PutSecretValue 调用之间没有争用情况

3. 验证 Lambda 函数逻辑：

   • 确认正在使用密钥轮换的最新 AWS 示例代码

   • 如果使用自定义代码，请审核代码以正确处理所有轮换步骤

4. 检查网络配置：

   • 验证安全组规则是否允许 Lambda 函数访问数据库

   • 确保 Secrets Manager 能够正确访问 VPC 端点或公有端点

5. 测试密钥版本：

   • 验证密钥的 AWSCURRENT 版本是否允许数据库访问

   • 检查 AWSPREVIOUS 或 AWSPENDING 版本是否有效

6. 清除待处理的轮换：

   • 如果轮换持续失败，请清除 AWSPENDING 暂存标签并重试轮换

7. 检查 Lambda 并发设置：

   • 验证并发设置是否适合您的工作负载

   • 如果您怀疑存在并发问题，请参阅“排查并发相关的轮换故障”部分

查找使用 Python 3.7 的 Lambda 轮换函数

1. 登录到 AWS 管理控制台，然后通过以下网址打开 AWS Lambda 控制台：https://console.aws.amazon.com/lambda/。

2. 在函数列表中，筛选 SecretsManager。

3. 在筛选后的函数列表中，在运行时系统下，查找 Python 3.7。

查找创建了轮换函数的 CloudFormation 堆栈

• 在 Lambda 函数的详细信息页面的配置选项卡上，选择标签。查看 aws:cloudformation:stack-id 旁的 ARN。

  堆栈名称已嵌入在 ARN 中，如下例所示。

  • ARN：arn:aws:cloudformation:us-west-2:408736277230:stack/SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda-3CUDHZMDMBO8/79fc9050-2eef-11ed-80f0-021fb13c0537

  • 堆栈名称：SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda

重新创建轮换函数（CloudFormation）

1. 在 CloudFormation 中，按名称搜索堆栈，然后选择更新。

   如果出现建议您更新根堆栈的对话框，请选择转到根堆栈，然后选择更新。

2. 在更新堆栈页面上的准备模板下，选择在应用程序编辑器中编辑，然后在在应用程序编辑器中编辑模板下，选择在应用程序编辑器中编辑按钮。

3. 在应用程序编辑器中，执行以下操作：

   1. 在模板代码中，在 SecretRotationScheduleHostedRotationLambda 中将 "functionName": "SecretsManagerTestRotationRDS" 的值替换为新的函数名称，例如在 JSON 中为 "functionName": "SecretsManagerTestRotationRDSupdated"

   2. 选择更新模板。

   3. 在继续使用 CloudFormation 对话框中，选择确认并继续使用 CloudFormation。

4. 继续完成 CloudFormation 堆栈工作流，然后选择提交。

查找创建了轮换函数的 CloudFormation 堆栈

• 在 Lambda 函数的详细信息页面的配置选项卡上，选择标签。查看 aws:cloudformation:stack-id 旁的 ARN。

  堆栈名称已嵌入在 ARN 中，如下例所示。

  • ARN：arn:aws:cloudformation:us-west-2:408736277230:stack/SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda-3CUDHZMDMBO8/79fc9050-2eef-11ed-80f0-021fb13c0537

  • 堆栈名称：SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda

更新轮换函数的运行时系统（CloudFormation）

1. 在 CloudFormation 中，按名称搜索堆栈，然后选择更新。

   如果出现建议您更新根堆栈的对话框，请选择转到根堆栈，然后选择更新。

2. 在更新堆栈页面上的准备模板下，选择在应用程序编辑器中编辑，然后在在应用程序编辑器中编辑模板下，选择在应用程序编辑器中编辑按钮。

3. 在应用程序编辑器中，执行以下操作：

   1. 在模板 JSON 中，对于 SecretRotationScheduleHostedRotationLambda，在 Properties 下的 Parameters 下方，添加 "runtime": "python3.9"。

   2. 选择更新模板。

   3. 在继续使用 CloudFormation 对话框中，选择确认并继续使用 CloudFormation。

4. 继续完成 CloudFormation 堆栈工作流，然后选择提交。

查找使用 Python 3.9 的 Lambda 轮换函数

1. 登录到 AWS 管理控制台，然后通过以下网址打开 AWS Lambda 控制台：https://console.aws.amazon.com/lambda/。

2. 在函数列表中，筛选 SecretsManager。

3. 在筛选后的函数列表中，在运行时系统下，查找 Python 3.9。

更新 Lambda 轮换函数以包括 RotationToken

1. 下载 Lambda 函数代码

   • 打开 Lambda 控制台

   • 在导航窗格中，选择函数

   • 针对函数名称选择您的 Lambda 密钥轮换函数

   • 在下载中，选择函数代码 .zip、AWS SAM 文件、两者中的一个选项

   • 选择确定将该函数保存在本地计算机上。

2. 编辑 Lambda_handler

   在跨账户轮换的 create_secret 步骤中包括 rotation_token 参数：

   
   def lambda_handler(event, context):
       """Secrets Manager Rotation Template
   
       This is a template for creating an AWS Secrets Manager rotation lambda
   
       Args:
           event (dict): Lambda dictionary of event parameters. These keys must include the following:
               - SecretId: The secret ARN or identifier
               - ClientRequestToken: The ClientRequestToken of the secret version
               - Step: The rotation step (one of createSecret, setSecret, testSecret, or finishSecret)
               - RotationToken: the rotation token to put as parameter for PutSecretValue call
   
           context (LambdaContext): The Lambda runtime information
   
       Raises:
           ResourceNotFoundException: If the secret with the specified arn and stage does not exist
   
           ValueError: If the secret is not properly configured for rotation
   
           KeyError: If the event parameters do not contain the expected keys
   
       """
       arn = event['SecretId']
       token = event['ClientRequestToken']
       step = event['Step']
       # Add the rotation token
       rotation_token = event['RotationToken']
   
       # Setup the client
       service_client = boto3.client('secretsmanager', endpoint_url=os.environ['SECRETS_MANAGER_ENDPOINT'])
   
       # Make sure the version is staged correctly
       metadata = service_client.describe_secret(SecretId=arn)
       if not metadata['RotationEnabled']:
           logger.error("Secret %s is not enabled for rotation" % arn)
           raise ValueError("Secret %s is not enabled for rotation" % arn)
       versions = metadata['VersionIdsToStages']
       if token not in versions:
           logger.error("Secret version %s has no stage for rotation of secret %s." % (token, arn))
           raise ValueError("Secret version %s has no stage for rotation of secret %s." % (token, arn))
       if "AWSCURRENT" in versions[token]:
           logger.info("Secret version %s already set as AWSCURRENT for secret %s." % (token, arn))
           return
       elif "AWSPENDING" not in versions[token]:
           logger.error("Secret version %s not set as AWSPENDING for rotation of secret %s." % (token, arn))
           raise ValueError("Secret version %s not set as AWSPENDING for rotation of secret %s." % (token, arn))
       # Use rotation_token
       if step == "createSecret":
           create_secret(service_client, arn, token, rotation_token)
   
       elif step == "setSecret":
           set_secret(service_client, arn, token)
       
       elif step == "testSecret":
           test_secret(service_client, arn, token)
           
       elif step == "finishSecret":
           finish_secret(service_client, arn, token)
           
       else:
           raise ValueError("Invalid step parameter")            
             

3. 编辑 create_secret 代码

   修订 create_secret 函数以接受并使用 rotation_token 参数：

   
   # Add rotation_token to the function
   def create_secret(service_client, arn, token, rotation_token):
   """Create the secret
   
   This method first checks for the existence of a secret for the passed in token. If one does not exist, it will generate a
   new secret and put it with the passed in token.
   
   Args:
   service_client (client): The secrets manager service client
   
   arn (string): The secret ARN or other identifier
   
   token (string): The ClientRequestToken associated with the secret version
   
   rotation_token (string): the rotation token to put as parameter for PutSecretValue call
   
   Raises:
   ResourceNotFoundException: If the secret with the specified arn and stage does not exist
   
   """
   # Make sure the current secret exists
   service_client.get_secret_value(SecretId=arn, VersionStage="AWSCURRENT")
   
   # Now try to get the secret version, if that fails, put a new secret
   try:
   service_client.get_secret_value(SecretId=arn, VersionId=token, VersionStage="AWSPENDING")
   logger.info("createSecret: Successfully retrieved secret for %s." % arn)
   except service_client.exceptions.ResourceNotFoundException:
   # Get exclude characters from environment variable
   exclude_characters = os.environ['EXCLUDE_CHARACTERS'] if 'EXCLUDE_CHARACTERS' in os.environ else '/@"\'\\'
   # Generate a random password
   passwd = service_client.get_random_password(ExcludeCharacters=exclude_characters)
   
   # Put the secret, using rotation_token
   service_client.put_secret_value(SecretId=arn, ClientRequestToken=token, SecretString=passwd['RandomPassword'], VersionStages=['AWSPENDING'], RotationToken=rotation_token)
   logger.info("createSecret: Successfully put secret for ARN %s and version %s." % (arn, token))
             

4. 更新已更新的 Lambda 函数代码

   更新您的 Lambda 函数代码后，将其上传以轮换密钥。

1. 检查并调整 Lambda 并发设置：

   • 验证 reserved_concurrent_executions 是否设置太低（例如 1）

   • 如果使用预留并发，请将其值至少设置为 10

   • 考虑使用非预留并发以获得更大的灵活性

2. 对于预置并发：

   • 不要显式设置预配置并发参数（例如，在 Terraform 中）。

   • 如果必须设置此参数，请使用至少为 10 的值。

   • 全面测试以确保所选值适用于您的使用案例。

3. 监控和调整并发：

   • 使用以下公式计算并发：并发 =（每秒平均请求数）*（以秒为单位的平均请求持续时间）。有关更多信息，请参阅估算预留并发。

   • 观察并记录轮换期间的值，以确定适当的并发设置。

   • 请谨慎设置低并发值。如果没有足够的可用执行线程，它们可能会导致节流。