View a markdown version of this page

Registrazione per MSK Connect - Amazon Managed Streaming per Apache Kafka
Impedire la visualizzazione di segreti nei log dei connettori

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Registrazione per MSK Connect

MSK Connect è in grado di scrivere log eventi che è possibile utilizzare per eseguire il debug del connettore. Quando si crea un connettore, è possibile specificare nessuna, una o più delle seguenti destinazioni di log:

  • Amazon CloudWatch Logs: specificate il gruppo di log a cui desiderate che MSK Connect invii gli eventi di registro del connettore. Per informazioni su come creare un gruppo di log, consulta Create a log group nella CloudWatch Logs User Guide.

  • Amazon S3: specifica il bucket S3 a cui desideri che MSK Connect invii i log eventi del connettore. Per informazioni su come creare un bucket S3, consulta la pagina Creating a bucket nella Guida per l'utente di Amazon S3.

  • Amazon Data Firehose: specifichi il flusso di distribuzione a cui desideri che MSK Connect invii gli eventi di registro del connettore. Per informazioni su come creare un flusso di distribuzione, consulta Creating an Amazon Data Firehose Delivery stream nella Firehose User Guide.

Importante

MSK Connect applica una limitazione interna della velocità all'uscita log del connettore. Se un connettore produce un volume elevato di righe di registro in un breve periodo, alcune righe di registro potrebbero essere interrotte prima della consegna a qualsiasi destinazione configurata. Questo limite di velocità si applica anche alle destinazioni CloudWatch Logs, Amazon S3 e Amazon Data Firehose. Per evitare la perdita di log, progetta i plug-in dei connettori in modo da ridurre al minimo la registrazione eccessiva durante i periodi di burst.

Per ulteriori informazioni sulla configurazione della registrazione, consulta la pagina Abilitazione della registrazione dai servizi AWS nella Guida per l'utente di Amazon CloudWatch Logs .

MSK Connect emette i seguenti tipi di log eventi:

Livello Description
INFO Eventi di runtime di interesse all'avvio e all'arresto.
WARN Situazioni di runtime che non sono errori ma sono indesiderate o impreviste.
FATAL Errori gravi che causano una terminazione anticipata.
ERROR Condizioni impreviste ed errori di runtime non fatali.

Di seguito è riportato un esempio di evento di registro inviato a Logs: CloudWatch 

[Worker-0bb8afa0b01391c41] [2021-09-06 16:02:54,151] WARN [Producer clientId=producer-1] Connection to node 1 (b-1.my-test-cluster.twwhtj.c2.kafka.us-east-1.amazonaws.com/INTERNAL_IP) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient:782)

Impedire la visualizzazione di segreti nei log dei connettori

Nota

Se un plug-in non definisce i valori di configurazione sensibili come segreti, tali valori possono apparire nei log dei connettori. Kafka Connect tratta i valori di configurazione non definiti allo stesso modo di qualsiasi altro valore non crittografato.

Se il plug-in definisce una proprietà come segreta, Kafka Connect oscura il valore della proprietà nei log dei connettori. Ad esempio, i seguenti log dei connettori mostrano che se un plug-in definisce aws.secret.key come un tipo PASSWORD, il suo valore viene sostituito con [hidden].

    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] [2022-01-11 15:18:55,150] INFO SecretsManagerConfigProviderConfig values:
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.access.key = my_access_key
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.region = us-east-1
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] aws.secret.key = [hidden]
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.prefix =
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] secret.ttl.ms = 300000
    2022-01-11T15:18:55.000+00:00    [Worker-05e6586a48b5f331b] (com.github.jcustenborder.kafka.config.aws.SecretsManagerConfigProviderConfig:361)

Per evitare che nei file di log dei connettori appaiano dei segreti, gli sviluppatori di plug-in devono utilizzare la costante di enumerazione ConfigDef.Type.PASSWORD di Kafka Connect per definire le proprietà sensibili. Quando una proprietà è di tipo ConfigDef.Type.PASSWORD, Kafka Connect esclude il relativo valore dai log dei connettori anche se il valore viene inviato come testo non crittografato.