AWS Secrets Manager におけるローテーションのトラブルシューティング

1. CloudWatch ログを分析します:

   • Lambda 関数ログで特定のエラーメッセージまたは予期しない動作を検索する

   • すべてのローテーションステップ (CreateSecret、SetSecret、TestSecret、FinishSecret) が試行されていることを確認する

2. ローテーション中に API コールを確認します:

   • Lambda ローテーション中にシークレットで API コールが変更されないようにする

   • RotateSecret と PutSecretValue の呼び出しの間に競合状態がないことを確認する

3. Lambda 関数ロジックを確認します:

   • シークレットローテーションに最新の AWS サンプルコードを使用していることを確認する

   • カスタムコードを使用する場合は、すべてのローテーションステップが適切に処理されることを確認する

4. ネットワーク構成を確認します:

   • セキュリティグループルールで Lambda 関数がデータベースにアクセスできることを確認する

   • Secrets Manager の適切な VPC エンドポイントまたはパブリックエンドポイントアクセスを確保する

5. シークレットバージョンをテストします:

   • シークレットの AWSCURRENT バージョンがデータベースアクセスを許可していることを確認する

   • AWSPREVIOUS または AWSPENDING のバージョンが有効かどうかを確認する

6. 保留中のローテーションをクリアします:

   • ローテーションが一貫して失敗する場合は、AWSPENDING ステージングラベルをクリアしてローテーションを再試行する

7. Lambda の同時実行設定を確認します:

   • 同時実行設定がワークロードに適していることを確認する

   • 同時実行の問題が疑われる場合は、「同時実行関連のローテーション失敗のトラブルシューティング」に関するセクションを参照する

Python 3.7 を使用する Lambda ローテーション関数を見つけるには

1. AWS マネジメントコンソール にサインインして AWS Lambda コンソール (https://console.aws.amazon.com/lambda/) を開きます。

2. [関数] のリストで、SecretsManager をフィルタリングします。

3. フィルタリングされた関数のリストの [ランタイム] で、Python 3.7 を見つけます。

ローテーション関数を作成した CloudFormation スタックを見つけるには

• Lambda 関数の詳細ページの [設定] タブで、[タグ] を選択します。aws:cloudformation:stack-id の横にある ARN を表示します。

  次の例に示すように、スタック名は ARN に埋め込まれます。

  • ARN: arn:aws:cloudformation:us-west-2:408736277230:stack/SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda-3CUDHZMDMBO8/79fc9050-2eef-11ed-80f0-021fb13c0537

  • スタック名: SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda

ローテーション関数を再作成するには (CloudFormation)

1. CloudFormation で、名前でスタックを検索し、[更新] を選択します。

   ルートスタックの更新を推奨するダイアログボックスが表示された場合は、[ルートスタックに移動] を選択し、[更新] を選択します。

2. [スタックの更新] ページで、[テンプレートの準備] から [Application Composer で編集] を選択し、次に [Application Composer でテンプレートを編集] から [Application Composer で編集] を選択します。

3. Application Composer で、次の操作を行います。

   1. テンプレートコードの SecretRotationScheduleHostedRotationLambda で、"functionName": "SecretsManagerTestRotationRDS" の値を新しい関数名 (JSON の "functionName": "SecretsManagerTestRotationRDSupdated" など) に置き換えます

   2. [テンプレートの更新] を選択します。

   3. [CloudFormation に進む] ダイアログボックスで、[確認して CloudFormation に進む] を選択します。

4. CloudFormation スタックワークフローを続行し、[送信] を選択します。

ローテーション関数を作成した CloudFormation スタックを見つけるには

• Lambda 関数の詳細ページの [設定] タブで、[タグ] を選択します。aws:cloudformation:stack-id の横にある ARN を表示します。

  次の例に示すように、スタック名は ARN に埋め込まれます。

  • ARN: arn:aws:cloudformation:us-west-2:408736277230:stack/SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda-3CUDHZMDMBO8/79fc9050-2eef-11ed-80f0-021fb13c0537

  • スタック名: SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda

ローテーション関数のランタイムを更新するには (CloudFormation)

1. CloudFormation で、名前でスタックを検索し、[更新] を選択します。

   ルートスタックの更新を推奨するダイアログボックスが表示された場合は、[ルートスタックに移動] を選択し、[更新] を選択します。

2. [スタックの更新] ページで、[テンプレートの準備] から [Application Composer で編集] を選択し、次に [Application Composer でテンプレートを編集] から [Application Composer で編集] を選択します。

3. Application Composer で、次の操作を行います。

   1. テンプレート JSON で、SecretRotationScheduleHostedRotationLambda の Properties の Parameters で "runtime": "python3.9" を追加します。

   2. [テンプレートの更新] を選択します。

   3. [CloudFormation に進む] ダイアログボックスで、[確認して CloudFormation に進む] を選択します。

4. CloudFormation スタックワークフローを続行し、[送信] を選択します。

Python 3.9 を使用する Lambda ローテーション関数を見つけるには

1. AWS マネジメントコンソール にサインインして AWS Lambda コンソール (https://console.aws.amazon.com/lambda/) を開きます。

2. [関数] のリストで、SecretsManager をフィルタリングします。

3. フィルタリングされた関数のリストの [ランタイム] で、Python 3.9 を見つけます。

Lambda ローテーション関数を更新して RotationToken を含める

1. Lambda 関数コードをダウンロードする

   • Lambda のコンソールを開く

   • ナビゲーションペインで、[関数] を選択する

   • 関数名の Lambda シークレットローテーション関数を選択する

   • ダウンロードでは、関数コード .zip、AWS SAM ファイル、両方のいずれかを選択します。

   • [OK] を選択して、ローカルマシンに関数を保存します。

2. Lambda_handler を編集する

   クロスアカウントローテーションの create_secret ステップに rotation_token パラメータを含めます:

   
   def lambda_handler(event, context):
       """Secrets Manager Rotation Template
   
       This is a template for creating an AWS Secrets Manager rotation lambda
   
       Args:
           event (dict): Lambda dictionary of event parameters. These keys must include the following:
               - SecretId: The secret ARN or identifier
               - ClientRequestToken: The ClientRequestToken of the secret version
               - Step: The rotation step (one of createSecret, setSecret, testSecret, or finishSecret)
               - RotationToken: the rotation token to put as parameter for PutSecretValue call
   
           context (LambdaContext): The Lambda runtime information
   
       Raises:
           ResourceNotFoundException: If the secret with the specified arn and stage does not exist
   
           ValueError: If the secret is not properly configured for rotation
   
           KeyError: If the event parameters do not contain the expected keys
   
       """
       arn = event['SecretId']
       token = event['ClientRequestToken']
       step = event['Step']
       # Add the rotation token
       rotation_token = event['RotationToken']
   
       # Setup the client
       service_client = boto3.client('secretsmanager', endpoint_url=os.environ['SECRETS_MANAGER_ENDPOINT'])
   
       # Make sure the version is staged correctly
       metadata = service_client.describe_secret(SecretId=arn)
       if not metadata['RotationEnabled']:
           logger.error("Secret %s is not enabled for rotation" % arn)
           raise ValueError("Secret %s is not enabled for rotation" % arn)
       versions = metadata['VersionIdsToStages']
       if token not in versions:
           logger.error("Secret version %s has no stage for rotation of secret %s." % (token, arn))
           raise ValueError("Secret version %s has no stage for rotation of secret %s." % (token, arn))
       if "AWSCURRENT" in versions[token]:
           logger.info("Secret version %s already set as AWSCURRENT for secret %s." % (token, arn))
           return
       elif "AWSPENDING" not in versions[token]:
           logger.error("Secret version %s not set as AWSPENDING for rotation of secret %s." % (token, arn))
           raise ValueError("Secret version %s not set as AWSPENDING for rotation of secret %s." % (token, arn))
       # Use rotation_token
       if step == "createSecret":
           create_secret(service_client, arn, token, rotation_token)
   
       elif step == "setSecret":
           set_secret(service_client, arn, token)
       
       elif step == "testSecret":
           test_secret(service_client, arn, token)
           
       elif step == "finishSecret":
           finish_secret(service_client, arn, token)
           
       else:
           raise ValueError("Invalid step parameter")            
             

3. create_secret コードの編集

   rotation_token パラメータを受け入れて使用するように create_secret 関数を改訂します:

   
   # Add rotation_token to the function
   def create_secret(service_client, arn, token, rotation_token):
   """Create the secret
   
   This method first checks for the existence of a secret for the passed in token. If one does not exist, it will generate a
   new secret and put it with the passed in token.
   
   Args:
   service_client (client): The secrets manager service client
   
   arn (string): The secret ARN or other identifier
   
   token (string): The ClientRequestToken associated with the secret version
   
   rotation_token (string): the rotation token to put as parameter for PutSecretValue call
   
   Raises:
   ResourceNotFoundException: If the secret with the specified arn and stage does not exist
   
   """
   # Make sure the current secret exists
   service_client.get_secret_value(SecretId=arn, VersionStage="AWSCURRENT")
   
   # Now try to get the secret version, if that fails, put a new secret
   try:
   service_client.get_secret_value(SecretId=arn, VersionId=token, VersionStage="AWSPENDING")
   logger.info("createSecret: Successfully retrieved secret for %s." % arn)
   except service_client.exceptions.ResourceNotFoundException:
   # Get exclude characters from environment variable
   exclude_characters = os.environ['EXCLUDE_CHARACTERS'] if 'EXCLUDE_CHARACTERS' in os.environ else '/@"\'\\'
   # Generate a random password
   passwd = service_client.get_random_password(ExcludeCharacters=exclude_characters)
   
   # Put the secret, using rotation_token
   service_client.put_secret_value(SecretId=arn, ClientRequestToken=token, SecretString=passwd['RandomPassword'], VersionStages=['AWSPENDING'], RotationToken=rotation_token)
   logger.info("createSecret: Successfully put secret for ARN %s and version %s." % (arn, token))
             

4. 更新された Lambda 関数コードをアップロードする

   Lambda 関数コードを更新したら、アップロードしてシークレットをローテーションします。

1. Lambda の同時実行設定を確認して調整します:

   • reserved_concurrent_executions の値がが低すぎないことを確認する (例: 1)

   • 予約された同時実行を使用する場合は、少なくとも 10 に設定する

   • 柔軟性を高めるために、予約されていない同時実行の使用を検討する

2. プロビジョニングされた同時実行の場合:

   • プロビジョニングされた同時実行パラメータを明示的に設定しないでください (Terraform など）。

   • 設定する必要がある場合は、10 以上の値を使用します。

   • 選択した値がユースケースで機能することを徹底的にテストします。

3. 同時実行をモニタリングして調整します:

   • 次の式を使用して同時実行数を計算します。同時実行数 = (1 秒あたりの平均リクエスト数) * (秒単位の平均リクエスト時間）。詳細については、「予約済み同時実行数の見積もり」 (Estimating reserved concurrency) を参照してください。

   • ローテーション中に値を観察して記録し、適切な同時実行設定を決定します。

   • 低い同時実行値を設定するときは注意してください。使用可能な実行スレッドが足りない場合、スロットリングが発生する可能性があります。