Identification des demandes Amazon S3 à l’aide de CloudTrail

Dans Amazon S3, vous pouvez identifier les demandes à l’aide d’un journal d’événements AWS CloudTrail. AWS CloudTrail est le moyen privilégié d’identifier les demandes Amazon S3, mais si vous utilisez les journaux d’accès au serveur Amazon S3, consultez Utilisation des journaux d’accès au serveur Amazon S3 pour identifier des demandes.

Identification des demandes adressées à Amazon S3 dans un journal CloudTrail

Après avoir configuré CloudTrail pour fournir les événements dans un compartiment, vous devriez commencer à voir des objets arriver dans votre compartiment de destination sur la console Amazon S3. Ils se présentent dans le format suivant :

s3://amzn-s3-demo-bucket1/AWSLogs/111122223333/CloudTrail/Region/yyyy/mm/dd

Les événements journalisés par CloudTrail sont stockés sous la forme d’objets JSON compressés avec gzipped dans votre compartiment S3. Pour trouver efficacement les demandes, vous devez utiliser un service comme Amazon Athena pour indexer et interroger les journaux CloudTrail.

Pour en savoir plus sur CloudTrail et Athena, consultez Création de la table pour les journaux AWS CloudTrail dans Athena à l’aide de la projection de partition dans le Guide de l’utilisateur Amazon Athena.

Identification des requêtes Amazon S3 Signature Version 2 à l’aide de CloudTrail

Vous pouvez utiliser un journal d’événements CloudTrail pour identifier la version de signature d’API utilisée pour signer une demande dans Amazon S3. Cette fonctionnalité est importante étant donné que la prise en charge de Signature Version 2 va être désactivée (obsolète). Après cela, Amazon S3 n’acceptera plus les demandes utilisant Signature Version 2, et toutes les demandes devront utiliser le processus de signature Signature Version 4.

Nous vous conseillons vivement d’utiliser CloudTrail afin de déterminer si certains de vos flux de travail utilisent Signature Version 2 pour la signature. Pour y remédier, mettez à niveau vos bibliothèques et votre code afin qu’ils utilisent plutôt Signature Version 4 afin d’éviter tout impact sur votre entreprise.

Pour plus d’informations, consultez Annonce : AWS CloudTrail pour Amazon S3 ajoute de nouveaux champs pour améliorer l’audit de sécurité dans AWS re:Post.

AWS CloudTrail est la méthode privilégiée pour identifier les demandes Signature Version 2. Si vous utilisez les journaux d’accès au serveur Amazon S3, consultez Identification des demandes Signature Version 2 à l’aide des journaux d’accès Amazon S3.

Exemples de requête Athena pour l’identification de demandes Amazon S3 Signature Version 2

SELECT EventTime, EventName as S3_Action, requestParameters as Request_Parameters, awsregion as AWS_Region, sourceipaddress as Source_IP, useragent as User_Agent
FROM s3_cloudtrail_events_db.cloudtrail_table
WHERE eventsource='s3.amazonaws.com'
AND json_extract_scalar(additionalEventData, '$.SignatureVersion')='SigV2'
LIMIT 10;
                

SELECT useridentity.arn, Count(requestid) as RequestCount
FROM s3_cloudtrail_events_db.cloudtrail_table
WHERE eventsource='s3.amazonaws.com'
    and json_extract_scalar(additionalEventData, '$.SignatureVersion')='SigV2'
Group by useridentity.arn
                

Partitionnement des données Signature Version 2

Si vous devez interroger un large volume de données, vous pouvez réduire les coûts et l’exécution d’Athena en créant une table partitionnée.

Pour ce faire, créez une nouvelle table avec des partitions, comme suit.

   CREATE EXTERNAL TABLE s3_cloudtrail_events_db.cloudtrail_table_partitioned(
        eventversion STRING,
        userIdentity STRUCT<
            type:STRING,
            principalid:STRING,
            arn:STRING,
            accountid:STRING,
            invokedby:STRING,
            accesskeyid:STRING,
            userName:STRING,
         sessioncontext:STRUCT<
                    attributes:STRUCT< 
                    mfaauthenticated:STRING,
                    creationdate:STRING>,
                    sessionIssuer:STRUCT<
                    type:STRING,
                    principalId:STRING,
                    arn:STRING,
                    accountId:STRING,
                    userName:STRING>
                >
             >,
        eventTime STRING,
        eventSource STRING,
        eventName STRING,
        awsRegion STRING,
        sourceIpAddress STRING,
        userAgent STRING,
        errorCode STRING,
        errorMessage STRING,
        requestParameters STRING,
        responseElements STRING,
        additionalEventData STRING,
        requestId STRING,
        eventId STRING,
        resources ARRAY<STRUCT<ARN:STRING,accountId: STRING,type:STRING>>, 
        eventType STRING,
        apiVersion STRING,
        readOnly STRING,
        recipientAccountId STRING,
        serviceEventDetails STRING,
        sharedEventID STRING,
        vpcEndpointId STRING
    )   
    PARTITIONED BY (region string, year string, month string, day string)
    ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde' 
    STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.SymlinkTextInputFormat'
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
    LOCATION 's3://amzn-s3-demo-bucket1/AWSLogs/111122223333/';
                

Ensuite, créez les partitions individuellement. Vous ne pouvez pas obtenir des résultats à partir de dates que vous n’avez pas créées.

ALTER TABLE s3_cloudtrail_events_db.cloudtrail_table_partitioned ADD
    PARTITION (region= 'us-east-1', year= '2019', month= '02', day= '19') LOCATION 's3://amzn-s3-demo-bucket1/AWSLogs/111122223333/CloudTrail/us-east-1/2019/02/19/'
    PARTITION (region= 'us-west-1', year= '2019', month= '02', day= '19') LOCATION 's3://amzn-s3-demo-bucket1/AWSLogs/111122223333/CloudTrail/us-west-1/2019/02/19/'
    PARTITION (region= 'us-west-2', year= '2019', month= '02', day= '19') LOCATION 's3://amzn-s3-demo-bucket1/AWSLogs/111122223333/CloudTrail/us-west-2/2019/02/19/'
    PARTITION (region= 'ap-southeast-1', year= '2019', month= '02', day= '19') LOCATION 's3://amzn-s3-demo-bucket1/AWSLogs/111122223333/CloudTrail/ap-southeast-1/2019/02/19/'
    PARTITION (region= 'ap-southeast-2', year= '2019', month= '02', day= '19') LOCATION 's3://amzn-s3-demo-bucket1/AWSLogs/111122223333/CloudTrail/ap-southeast-2/2019/02/19/'
    PARTITION (region= 'ap-northeast-1', year= '2019', month= '02', day= '19') LOCATION 's3://amzn-s3-demo-bucket1/AWSLogs/111122223333/CloudTrail/ap-northeast-1/2019/02/19/'
    PARTITION (region= 'eu-west-1', year= '2019', month= '02', day= '19') LOCATION 's3://amzn-s3-demo-bucket1/AWSLogs/111122223333/CloudTrail/eu-west-1/2019/02/19/'
    PARTITION (region= 'sa-east-1', year= '2019', month= '02', day= '19') LOCATION 's3://amzn-s3-demo-bucket1/AWSLogs/111122223333/CloudTrail/sa-east-1/2019/02/19/';
                

Vous pouvez ensuite effectuer la demande en fonction de ces partitions. Vous n’avez pas besoin de charger le compartiment entier.

SELECT useridentity.arn,
Count(requestid) AS RequestCount
FROM s3_cloudtrail_events_db.cloudtrail_table_partitioned
WHERE eventsource='s3.amazonaws.com'
AND json_extract_scalar(additionalEventData, '$.SignatureVersion')='SigV2'
AND region='us-east-1'
AND year='2019'
AND month='02'
AND day='19'
Group by useridentity.arn
                

Identification de l’accès aux objets S3 à l’aide de CloudTrail

Vous pouvez utiliser vos journaux des événements AWS CloudTrail pour identifier les demandes d’accès aux objets Amazon S3 pour des événements de données tels que GetObject, DeleteObject et PutObject, ainsi que pour découvrir des informations supplémentaires sur ces demandes.

L’exemple suivant montre comment obtenir toutes les demandes d’objets PUT pour Amazon S3 à partir du journal des événements AWS CloudTrail.

Exemples de requêtes Athena pour identifier les demandes d’accès aux objets Amazon S3

Dans les exemples de requêtes Athena suivants, remplacez s3_cloudtrail_events_db.cloudtrail_table par vos coordonnées Athena et modifiez la plage de dates si nécessaire.

SELECT
  eventTime, 
  eventName, 
  eventSource, 
  sourceIpAddress, 
  userAgent, 
  json_extract_scalar(requestParameters, '$.bucketName') as bucketName, 
  json_extract_scalar(requestParameters, '$.key') as object,
  userIdentity.arn as userArn
FROM
  s3_cloudtrail_events_db.cloudtrail_table
WHERE
  eventName = 'PutObject'
  AND eventTime BETWEEN '2019-07-05T00:00:00Z' and '2019-07-06T00:00:00Z'
                    

SELECT
  eventTime, 
  eventName, 
  eventSource, 
  sourceIpAddress, 
  userAgent, 
  json_extract_scalar(requestParameters, '$.bucketName') as bucketName, 
  json_extract_scalar(requestParameters, '$.key') as object,
  userIdentity.arn as userArn
FROM
  s3_cloudtrail_events_db.cloudtrail_table
WHERE
  eventName = 'GetObject'
  AND eventTime BETWEEN '2019-07-05T00:00:00Z' and '2019-07-06T00:00:00Z'

SELECT
  eventTime, 
  eventName, 
  eventSource, 
  sourceIpAddress, 
  userAgent, 
  json_extract_scalar(requestParameters, '$.bucketName') as bucketName, 
  userIdentity.arn as userArn,
  userIdentity.accountId
FROM
  s3_cloudtrail_events_db.cloudtrail_table
WHERE
  userIdentity.accountId = 'anonymous'
  AND eventTime BETWEEN '2019-07-05T00:00:00Z' and '2019-07-06T00:00:00Z'

SELECT
  eventTime, 
  eventName, 
  eventSource, 
  sourceIpAddress, 
  userAgent, 
  userIdentity.arn as userArn,
  json_extract_scalar(requestParameters, '$.bucketName') as bucketName,
  json_extract_scalar(requestParameters, '$.key') as object,
  json_extract_scalar(additionalEventData, '$.aclRequired') as aclRequired
FROM 
  s3_cloudtrail_events_db.cloudtrail_table
WHERE
  json_extract_scalar(additionalEventData, '$.aclRequired') = 'Yes'
  AND eventTime BETWEEN '2022-05-10T00:00:00Z' and '2022-08-10T00:00:00Z'

Si vous utilisez les journaux d’accès au serveur Amazon S3, consultez Identification des demandes d’accès aux objets à l’aide des journaux d’accès Amazon S3.