翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

マルチターン強化学習のための保管時の暗号化

保管時の暗号化オプション

Amazon SageMaker AI のマルチターン強化学習ジョブは、保管中のすべてのデータを暗号化します。トレーニング入力データ、出力データ (モデルチェックポイントとトレーニング済みモデルアーティファクトを含む）、および Amazon S3 に保存されている中間データは、サーバー側の暗号化を使用して暗号化されます。保管時にデータが暗号化されるように、追加の設定を実行する必要はありません。

Amazon SageMaker AI は、マルチターン RL ジョブに対して次の暗号化オプションをサポートしています。

カスタマーマネージド AWS KMS キーを使用した保管中のデータの暗号化

マルチターン RL がカスタマーマネージド KMS キーを使用する方法

マルチターン RL ジョブの出力設定でカスタマーマネージド KMS キーを指定すると、Amazon SageMaker AI はそのキーを使用して Amazon S3 内の次のリソースを暗号化します。

カスタマーマネージド KMS キーを指定すると、Amazon SageMaker AI は 2 つのメカニズムを使用してデータを暗号化します。

トレーニングジョブ中に、次の AWS KMS オペレーションが発生します。

サービスはデータキーをキャッシュしません。各 Amazon S3 の読み取りまたは書き込みオペレーションはAmazon S3サービス統合を通じて AWS KMS 個別に を呼び出します。

カスタマーマネージド KMS キーの設定

マルチターン RL ジョブは対称 AWS KMS キーのみをサポートします。マルチリージョンキーはサポートされていません。

カスタマーマネージド KMS キーを使用するためのアクセス許可の設定

マルチターン RL ジョブでカスタマーマネージド KMS キーを使用するには、IAM 実行ロールと KMS キーポリシーの両方に対するアクセス許可を設定する必要があります。

実行ロールのアクセス許可

CreateJob API に渡す IAM 実行ロールには、次の AWS KMS アクセス許可が必要です。これらのアクセス許可により、トレーニングジョブは Amazon S3 を介して出力データを暗号化し、入力データを復号できます。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "KMSPermissionsForS3Encryption",
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt",
                "kms:GenerateDataKey"
            ],
            "Resource": "arn:aws:kms:region:account-id:key/key-id",
            "Condition": {
                "StringLike": {
                    "kms:ViaService": "s3.*.amazonaws.com"
                }
            }
        }
    ]
}

このkms:ViaService条件は、キーの使用を Amazon S3 を通過するリクエストに制限し、キーが他の目的に使用されないようにします。

エージェントランタイムロールのアクセス許可

Amazon Bedrock AgentCore エージェントまたは AWS Lambda フォワーダーが引き受けるエージェントランタイムロールには、次の AWS KMS アクセス許可が必要です。SageMaker AI は、マルチターン強化学習 (RL) ジョブ中に KMS キーを使用する前に、発信者にこれらのアクセス許可があることを確認します。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "KMSPermissionsForMTRLRuntime",
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt",
                "kms:GenerateDataKey"
            ],
            "Resource": "arn:aws:kms:region:account-id:key/key-id",
            "Condition": {
                "StringLike": {
                    "kms:ViaService": "sagemaker.*.amazonaws.com"
                }
            }
        }
    ]
}

エージェントランタイムロールkms:ViaServiceの条件は、SageMaker AI ランタイムサービスが発信者に代わって AWS KMS オペレーションを実行するsagemaker.*.amazonaws.comため、 を指定します。これとは対照的に、実行ロールは Amazon S3 を介してキーにアクセスするs3.*.amazonaws.comため、 を使用します。 Amazon S3

KMS キーポリシー

デフォルトの KMS キーポリシーでは、同じアカウントの IAM ロールにキーの使用が既に許可されています。必要に応じて、次のステートメントを追加して、実行ロールとエージェントランタイムロールのみにアクセスをさらに制限できます。

{
    "Sid": "AllowMTRLJobEncryption",
    "Effect": "Allow",
    "Principal": {
        "AWS": [
            "arn:aws:iam::account-id:role/SageMakerExecutionRole",
            "arn:aws:iam::account-id:role/AgentRuntimeRole"
        ]
    },
    "Action": [
        "kms:Decrypt",
        "kms:GenerateDataKey"
    ],
    "Resource": "*",
    "Condition": {
        "StringLike": {
            "kms:ViaService": [
                "s3.*.amazonaws.com",
                "sagemaker.*.amazonaws.com"
            ]
        }
    }
}

発信者が許可を作成してキーを記述できるようにするには、キーポリシーに次のステートメントを追加します。

{
    "Sid": "AllowCreateGrantForCaller",
    "Effect": "Allow",
    "Principal": {
        "AWS": "arn:aws:iam::account-id:role/CallerRole"
    },
    "Action": [
        "kms:CreateGrant",
        "kms:DescribeKey"
    ],
    "Resource": "*",
    "Condition": {
        "StringEquals": {
            "kms:CallerAccount": "account-id"
        },
        "StringLike": {
            "kms:ViaService": "sagemaker.*.amazonaws.com"
        },
        "Bool": {
            "kms:GrantIsForAWSResource": "true"
        }
    }
}

カスタマーマネージド KMS キーを使用したマルチターン RL ジョブの作成

カスタマーマネージド KMS キーを使用して出力データを暗号化するには、OutputDataConfigCreateJobリクエストの KmsKeyArnフィールドでキー ARN を指定します。詳細については、SageMaker AI API リファレンスのCreateJob」を参照してください。

次の例は、 で KMS キーを指定する方法を示していますOutputDataConfig。

{
    "OutputDataConfig": {
        "S3OutputPath": "s3://your-bucket/output/",
        "KmsKeyArn": "arn:aws:kms:region:account-id:key/key-id"
    }
}

Amazon S3 の入力データがカスタマーマネージドキー (SSE-KMS) で暗号化されている場合は、実行ロールにそのキーに対するkms:Decryptアクセス許可があることを確認します。入力暗号化と出力暗号化の両方に同じキーを使用することも、異なるキーを使用することもできます。

カスタマーマネージド KMS キーへのアクセスのスコープダウン

次のメカニズムを使用して、カスタマーマネージド KMS キーへのアクセスを制限できます。

マルチターン RL ジョブの暗号化コンテキスト

マルチターン RL ジョブがカスタマーマネージド KMS キーを使用してデータを暗号化する場合、Amazon SageMaker AI は Amazon S3 を介して行われるすべての AWS KMS リクエストに暗号化コンテキストを含めます。暗号化コンテキストは、 AWS KMS オペレーションに追加の認証データ (AAD) を提供するキーと値のペアのセットです。暗号化コンテキストはログイン AWS CloudTrail され、KMS キーポリシーで使用でき、アクセスをさらに制限するための制約を付与できます。

Amazon SageMaker AI は、マルチターン RL トレーニングジョブに次の暗号化コンテキストのキーと値のペアを使用します。

{
    "aws:sagemaker:finetuning-job-arn": "arn:aws:sagemaker:region:account-id:job/AgentRFT/job-name"
}

マルチターン RL 評価ジョブの場合、暗号化コンテキストは以下を使用します。

{
    "aws:sagemaker:agent-rft-evaluation-job-arn": "arn:aws:sagemaker:region:account-id:job/AgentRFTEvaluation/job-name"
}

暗号化コンテキストは、暗号化されたデータを作成する特定のジョブにバインドされます。各ジョブは、暗号化コンテキストで独自の ARN を使用して独自の出力を暗号化します。これにより、暗号化されたデータとそれを生成したジョブとの間に暗号化バインディングが提供されます。

キーポリシーでの暗号化コンテキストの使用

暗号化コンテキストは、Amazon SageMaker AI がジョブ作成時に作成する許可制約を通じて自動的に適用されます。暗号化コンテキスト条件を KMS キーポリシーに追加して、暗号化が正しく機能するようにする必要はありません。

KMS キーポリシーの kms:CreateGrantステートメントに暗号化コンテキスト条件を追加する場合は、反復トレーニングチェーンで現在のジョブと以前のジョブの両方の許可を許可する必要があります。次の例では、Amazon SageMaker AI が暗号化コンテキストでトレーニングジョブ ARN を使用して許可を作成できるようにします。

{
    "Sid": "AllowCreateGrantForCaller",
    "Effect": "Allow",
    "Principal": {
        "AWS": "arn:aws:iam::account-id:role/CallerRole"
    },
    "Action": [
        "kms:CreateGrant",
        "kms:DescribeKey"
    ],
    "Resource": "*",
    "Condition": {
        "StringLike": {
            "kms:ViaService": "sagemaker.*.amazonaws.com",
            "kms:EncryptionContext:aws:sagemaker:finetuning-job-arn": "arn:aws:sagemaker:region:account-id:job/AgentRFT/*"
        },
        "Bool": {
            "kms:GrantIsForAWSResource": "true"
        }
    }
}

反復トレーニングの暗号化コンテキスト

反復トレーニングジョブ (後続のジョブが前のジョブのチェックポイントから再開される) を実行すると、各ジョブの暗号化コンテキストにそのジョブ独自の ARN が含まれます。Amazon SageMaker AI は、反復トレーニングをサポートするために 2 つの AWS KMS グラントを自動的に管理します。

両方の許可は、ジョブが完了すると自動的に廃止されます。カスタマーマネージドキーを操作するために、反復トレーニング用のキーポリシーステートメントを追加する必要はありません。

の暗号化コンテキスト AWS CloudTrail

マルチターン RL ジョブによって行われた AWS KMS API コールの CloudTrail ログを確認すると、暗号化コンテキストがログエントリの requestParametersフィールドに表示されます。この情報を使用して、データに対して特定の暗号化または復号オペレーションを実行したジョブを特定できます。

とのマルチターン RL インタラクションのモニタリング AWS KMS

を使用して AWS CloudTrail 、マルチターン RL ジョブに代わって行われた AWS KMS API コールをモニタリングできます。次の CloudTrail イベント名は、KMS キーの使用状況のモニタリングに関連しています。

これらのイベントの CloudTrail ログエントリで、次の値を探します。

AWS KMS API コールのログ記録の詳細については、 AWS KMS デベロッパーガイドの「 を使用した AWS KMS API コールのログ記録 AWS CloudTrail」を参照してください。