Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configuration de sources de compartiments S3 personnalisées
Avec les CloudWatch pipelines, vous pouvez traiter des journaux arbitraires stockés dans des compartiments S3.
Conditions préalables
Pour utiliser Amazon S3 comme source d'un pipeline, créez d'abord un compartiment S3. Pour obtenir des instructions, consultez la section Création d'un compartiment à usage général dans le guide de l'utilisateur Amazon S3.
Note
Si le compartiment S3 utilisé comme source dans le pipeline se trouve dans un autre AWS compte, vous devez également activer les autorisations de lecture entre comptes sur le compartiment. Cela permet au pipeline de lire et de traiter les données. Pour activer les autorisations entre comptes, consultez la section Octroi par le propriétaire du bucket des autorisations de bucket entre comptes dans le guide de l'utilisateur Amazon S3.
Si vos compartiments S3 se trouvent dans plusieurs comptes, utilisez une bucket_owners carte. Pour un exemple, consultez la section Accès S3 entre comptes
Pour configurer le traitement S3-SQS, vous devez également effectuer les étapes suivantes :
Configurer le rôle du pipeline
Contrairement aux autres plugins source qui envoient des données vers un pipeline, le plug-in source S3 possède une architecture basée sur la lecture dans laquelle le pipeline extrait les données de la source. Par conséquent, pour qu'un pipeline puisse lire depuis S3, vous devez spécifier un rôle dans la configuration source S3 du pipeline qui a accès à la fois au compartiment S3 et à la file d'attente Amazon SQS. Le pipeline assumera ce rôle afin de lire les données de la file d'attente.
Vous trouverez des exemples d'autorisations de rôle dans les politiques IAM spécifiques à la source. Notez que ce rôle doit avoir une relation de confiance avec le principe de service des CloudWatch pipelines. Vous trouverez un exemple de configuration de politique de confiance pour votre rôle de pipeline dans Relations de confiance.
Création du pipeline
Après avoir configuré vos autorisations, vous pouvez configurer un pipeline en fonction de votre cas d'utilisation d'Amazon S3.
Sélectionnez Créer un pipeline dans l'onglet Pipelines sous Ingestion dans la CloudWatch console. Suivez les étapes de l'assistant de pipeline et fournissez l'ARN de la file d'attente SQS et le rôle IAM de pipeline requis lorsque vous y êtes invité. Indiquez éventuellement un nom et un type de source de données à associer à la destination du groupe de CloudWatch journaux dans Logs.
Assurez-vous de configurer une politique de ressources de CloudWatch journaux si aucune n'est déjà configurée pour le groupe de journaux de destination, puis sélectionnez Créer un pipeline dans l'étape Révision et création. Le pipeline sera créé et les données commenceront à circuler dans les 5 minutes en cas de succès.
Compte croisé Amazon S3 en tant que source
Vous pouvez accorder l'accès à plusieurs comptes avec Amazon S3 afin que les CloudWatch pipelines puissent accéder aux compartiments S3 d'un autre compte en tant que source. Pour activer l'accès entre comptes, consultez la section Octroi par le propriétaire du bucket des autorisations de bucket entre comptes dans le guide de l'utilisateur Amazon S3. Une fois que vous avez accordé l'accès, assurez-vous que votre rôle de pipeline dispose des autorisations requises.
Vous pouvez ensuite créer un pipeline en utilisant bucket_owners pour activer l'accès entre comptes à un compartiment Amazon S3 en tant que source.
Configuration de source personnalisée
Lors de la création d'un pipeline pour des sources personnalisées :
-
Un analyseur doit être le premier processeur du pipeline
-
Vous pouvez spécifier n'importe quel processeur pris en charge pour les pipelines de journaux personnalisés
